Chatbot technické podpory

Abstract

Velké jazykové modely přinášejí do oblasti technické podpory výrazný potenciál, zároveň však trpí zásadními omezeními -- pevnou znalostní hranicí a sklonem generovat přesvědčivě znějící, ale fakticky nesprávné odpovědi. Tato bakalářská práce se zabývá návrhem a implementací chatbota technické podpory, který tato omezení překonává pomocí architektury Retrieval-Augmented Generation (RAG).

Navržený systém je implementován jako .NET 10 Web API a využívá vektorovou databázi Azure Cosmos DB pro ukládání embeddingů dokumentace. Pipeline zpracování dotazu zahrnuje přeformulování dotazu pomocí LLM, sémantické vyhledávání a přeřazení výsledků pomocí cross-encoder modelu Jina Reranker v3. Orchestrace volání jazykových modelů je realizována prostřednictvím knihovny Microsoft Semantic Kernel.

Funkčnost systému byla ověřena na sadě 21 dotazů rozdělených do pěti kategorií pokrývajících faktické, procedurální, závislostní i konverzační dotazy. Systém dosáhl celkové úspěšnosti 76 \% a žádná z odpovědí nebyla vyhodnocena jako fakticky nesprávná -- systém tedy ani jednou nehalucinoval. Výsledky potvrzují, že architektura RAG v kombinaci se správně navrženým systémovým promptem efektivně eliminuje halucinace a umožňuje chatbotovi odpovídat přesně na základě aktuální dokumentace.

Large language models bring significant potential to the field of technical support, yet they suffer from fundamental limitations -- a fixed knowledge cutoff and a tendency to generate convincingly phrased but factually incorrect responses. This bachelor's thesis presents the design and implementation of a technical support chatbot that overcomes these limitations using the Retrieval-Augmented Generation (RAG) architecture.

The proposed system is implemented as a .NET 10 Web API and uses Azure Cosmos DB as a vector database for storing documentation embeddings. The query processing pipeline includes query rewriting using an LLM, semantic search, and result reranking using the Jina Reranker v3 cross-encoder model. Orchestration of language model calls is handled through the Microsoft Semantic Kernel library.

The system was evaluated on a set of 21 queries divided into five categories covering factual, procedural, dependency-based, and conversational queries. The system achieved an overall success rate of 76\% and none of the responses were evaluated as factually incorrect -- the system never hallucinated. The results confirm that the RAG architecture combined with a well-designed system prompt effectively eliminates hallucinations and enables the chatbot to respond accurately based on up-to-date documentation.