Normalizace SQL příkazů pro zpracování knihovnou DataFusion

Abstract

Kvalita SQL dotazů přímo ovlivňuje výkonnost a spolehlivost databázových aplikací. Nástroje pro statickou analýzu SQL dotazů umožňují odhalovat chyby a výkonnostní antipatterny automaticky, bez spuštění dotazu vůči reálné databázi. V podnikovém prostředí však každý databázový systém přináší vlastní variantu jazyka SQL, která se odchyluje od standardu i od ostatních systémů. Projekt DBShepherd, vyvíjený na Katedře informatiky VŠB-TUO, provádí takovou analýzu pomocí knihovny Apache DataFusion. Aby bylo možné zpracovat dotazy z různých systémů, musí být dialektově specifická syntaxe před zpracováním normalizována do podoby, kterou DataFusion akceptuje. Cílem této diplomové práce je rozšíření projektu DBShepherd o podporu tří cloudových datových skladišť: Snowflake, Databricks a Google BigQuery. Rozšíření zahrnuje implementaci komponent pro čtení metadat, normalizaci dotazů a registraci dialektově specifických funkcí. Součástí práce je rovněž testovací kolekce čítající více než 100 SQL dotazů na každý ze tří systémů.

The quality of SQL queries directly affects the performance and reliability of database applications. Tools for static analysis of SQL queries allow you to detect errors and performance anti-patterns automatically, without running the query against a real database. However, in an enterprise environment, each database system has its own variant of the SQL language, which deviates from the standard and from other systems. The DBShepherd project, developed at the Department of Informatics at VŠB-TUO, performs such analysis using the Apache DataFusion library. In order to process queries from different systems, dialect-specific syntax must be normalized into a form that DataFusion accepts before processing. The aim of this thesis is to extend the DBShepherd project to support three cloud data warehouses: Snowflake, Databricks, and Google BigQuery. The extension includes the implementation of components for reading metadata, normalizing queries, and registering dialect-specific functions. The thesis also includes a test collection of more than 100 SQL queries for each of the three systems.