Analýza SQL příkazů v dbt projektu

Abstract

Tato diplomová práce se zabývá analýzou SQL příkazů v rámci datových projektů postavených na nástroji dbt. Hlavním cílem práce je integrace ekosystému dbt do již existujícího analytického projektu a jeho využití k automatizované detekci strukturálních nedostatků v návrhu datových modelů. V praktické části byl nejprve navržen a implementován nástroj pro příkazovou řádku, který zajišťuje extrakci schémat a vazeb přímo z metadat dbt projektu a jejich uložení do stavové databáze. Součástí nástroje je algoritmus pro analýzu datových toků a identifikaci redundantní logiky při spojování tabulek. Výstup této analýzy, kterým je doporučení k vyčlenění těchto duplicit do samostatných sdílených modelů, je automaticky zapisován do textové dokumentace projektu a zmíněné stavové databáze. Implementované řešení tak aktivně pomáhá snižovat duplicitu kódu, usnadňuje údržbu rozsáhlých databázových systémů a přispívá k dodržování osvědčených postupů v datovém inženýrství.

This master thesis deals with the analysis of SQL commands within data projects built on the dbt tool. The main goal of the thesis is the integration of the dbt ecosystem into an already existing analytical project and its use for the automated detection of structural flaws in the design of data models. In the practical part, a command-line tool was first designed and implemented to ensure the extraction of schemas and dependencies directly from the metadata of a dbt project and their storage in a state database. The tool includes an algorithm for analyzing data flows and identifying redundant logic in table joins. The output of this analysis, which is a recommendation to extract these duplicates into separate shared models, is automatically written into the project's text documentation and the aforementioned state database. The implemented solution thus actively helps to reduce code duplication, simplifies the maintenance of large-scale database systems, and contributes to adherence to best practices in data engineering.