Možnosti klasifikace extremistického textu pomocí hlubokého učení

Abstract

Předložená závěrečná práce se zabývá využitím modelů hlubokého učení pro detekci extremistického obsahu, specificky výhrůžek násilím v online komentářích. Cílem je navrhnout systém schopný co nejefektivněji filtrovat vysoce nevyvážená textová data s pouze vzácným výskytem těchto výhružných komentářů a potenciálně tak sloužit jako podpůrný nástroj pro bezpečnostní analytiky, a to vytvořením fronty s prioritním umístěním výhrůžek na začátek. V rámci praktické části byla provedena studie na štítku threat datové sady Civil Comments srovnávající modely od základních konvolučních a rekurentních sítí až po pokročilé hybridní transformátorové architektury. Výsledky ukazují, že hybridní transformátorové architektury dosahují výsledků s nejvyšším užitkem dle zvolených metrik (AUROC a F1 skóre). Je zjištěno, že pro maximalizaci klasifikačního výkonu v podmínkách značné nevyváženosti dat je nejspíše klíčová synergie hlubokých sémantických reprezentací transformátorů a specializovaných klasifikačních hlav.

This thesis explores the application of deep learning models for detecting extremist content, specifically violent threats in online comments. The objective is to design a system capable of maximally efficiently filtering highly imbalanced text data characterized by a rare occurrence of such threatening comments. This system aims to potentially serve as a support tool for security analysts by generating a priority queue that places threats at the top. Within the practical section, a study was conducted using the „threat“ label from the Civil Comments dataset, comparing models ranging from foundational convolutional and recurrent networks to advanced hybrid transformer architectures. The results demonstrate that hybrid transformer architectures achieve the highest utility according to the selected evaluation metrics (AUROC and F1 score). The findings suggest that the synergy between the deep semantic representations of transformers and specialized classification heads is likely crucial for maximizing classification performance under conditions of severe data imbalance.