Integrace velkých jazykových modelů do systému Kelvin

Abstract

Tato diplomová práce se zabývá návrhem a implementací modulu pro automatickou analýzu zdrojových kódů pomocí velkých jazykových modelů (LLM) v rámci webového informačního systému využívaného při výuce programování. Práce popisuje principy fungování LLM, architekturu Transformer a základní metody jejich využití při analýze a hodnocení kódu. Součástí je porovnání různých způsobů nasazení a přístupů k promptování z hlediska kvality výsledků, provozních nároků a ochrany dat. Navržené řešení je experimentálně ověřeno na reálných datech a jeho výsledky ukazují možnosti využití LLM jako podpůrného nástroje při hodnocení programátorských úloh.

This thesis focuses on the design and implementation of a module for automatic analysis of source code using large language models (LLMs) within a web-based information system used in programming education. The thesis describes the principles of LLMs, the Transformer architecture, and approaches for applying these models to source code analysis. It also compares different deployment approaches and prompting strategies with respect to output quality, operational requirements, and data protection. The proposed solution is experimentally evaluated on real-world data, demonstrating the potential of LLMs as a supporting tool for assessing programming assignments.