Temný web a moderní algoritmy umělé inteligence

Abstract

Tato diplomová práce se zabývá návrhem a implementací systému pro automatizovaný sběr a klasifikaci dat z temného webu pomocí lokálních jazykových modelů. Systém tvoří upravený webový crawler procházející obsah skrytých stránek v síti Tor a klasifikátor analyzující získaná data.

Analýza probíhá ve třech fázích: hodnocení bezpečnosti návštěvy stránek, posouzení legálnosti obsahu (prodej zbraní, drog, nelegální pornografie oproti legálnímu obsahu jako blogy či fóra) a detekce prvků umělé inteligence — aktivních (přímá volání rozhraní, widgety) i pasivních (zmínky, odkazy) — včetně odhadu podílu automaticky generovaného textu.

Klasifikace využívá šest lokálních jazykových modelů z knihovny Ollama, čímž odpadá nutnost odesílat potenciálně nelegální obsah do cloudových služeb. Výsledky jsou ukládány postupně: od stažených souborů přes normalizovanou strojově čitelnou strukturu až po sjednocenou databázi výstupů všech modelů a promptovacích strategií. Práce zahrnuje experimentální vyhodnocení na vlastní datové sadě a diskutuje přesnost, využitelnost i etické výzvy navrženého řešení.

This master's thesis focuses on the design and implementation of a system for automated data collection and classification from the dark web using local language models. The system consists of a modified web crawler that recursively traverses the content of hidden service pages on the Tor network, and a classifier that analyzes the collected data.

The analysis is conducted in three phases: assessing the safety of visiting the examined pages, evaluating the legality of their content (sale of weapons, drugs, illegal pornography versus legal content such as blogs or forums), and detecting artificial intelligence elements — both active (direct interface calls, widgets) and passive (mentions, references) — including estimating the proportion of automatically generated text.

Classification employs six local language models from the Ollama library, eliminating the need to send potentially illegal content to cloud services. Results are stored progressively: from downloaded files through a normalized machine-readable structure to a unified database of outputs from all models and prompting strategies. The thesis includes an experimental evaluation on a custom dataset and discusses the accuracy, practical applicability, and ethical challenges of the proposed solution.