Rozpoznání klonovaného hlasu: analýza současných hrozeb a implementace ochrany při automatické verifikaci řečníka

Abstract

Práce se zabývá problematikou detekce klonované řeči a systémů obrany proti spoofingovým útokům na systémy automatické verifikace řečníka (ASV) a na protiopatření (CM). V teoretické části jsou popsány principy zpracování řečového signálu, binární klasifikátory, používané hlasové databáze a principy fungování ASV a CM systémů včetně architektur testovaných modelů a typů útoků. Praktická část se věnuje vytvoření unikátní testovací databáze za použití tří klonovacích nástrojů a je doplněna subjektivním dotazníkem jako demonstrátorem skutečné hrozby klonovacích nástrojů. Testované ASV a CM systémy jsou evaluovány pomocí metrik Accuracy, pass-through rate a EER, s následným rozborem z pohledu kvality klonovacích nástrojů, pohlaví řečníka a jeho národnosti. Systémy jsou dále vyhodnoceny v tandemovém zapojení. Pro demonstraci teoretického maximálního výkonu je provedena adaptace CM systémů na oracle thresholdu a re-evaluace s novým verifikačním prahem. Pro porovnání s vědeckými pracemi jsou využity metriky t-DCF a normalizovaná t-DCF.

This thesis deals with the detection of cloned speech and systems designed to defend against spoofing attacks on automatic speaker verification (ASV) and countermeasure (CM) systems. The theoretical part describes the principles of speech signal processing, binary classifiers, voice databases, and the operating principles of ASV and CM systems, including the architectures of the tested models and the types of attacks. The practical part focuses on the creation of a unique testing database using three voice cloning tools, complemented by a subjective questionnaire demonstrating the real-world threat of cloning tools. The tested ASV and CM systems are evaluated using Accuracy, pass-through rate, and EER metrics, with subsequent analysis by cloning tool quality, speaker gender, and nationality. The systems are further evaluated in a tandem configuration. To demonstrate the theoretical maximum performance, the CM systems are adapted to an oracle threshold and re-evaluated. The t-DCF and normalized t-DCF metrics are used for comparison with prior research.