Sieť typu Transformer a jej použitie

Abstract

Síť typu Transformer je architektura hlubokých neuronových sítí, která v poslední době prokázala úspěch při zpracování přirozeného jazyka (NLP) a dalších úlohách díky své schopnosti modelovat závislosti na dlouhé vzdálenosti, zlepšit paralelní zpracování a snížit výpočetní složitost. Byla úspěšně použita v mnoha úlohách NLP a prokázala vyšší výkonnost ve srovnání s tradičními modely, jako jsou rekurentní a konvoluční neuronové sítě. Jednou z oblastí, ve které síť Transformer také přinesla změnu, je automatické rozpoznávání řeči (ASR). ASR je náročný úkol vzhledem k variabilitě a složitosti lidské řeči. Tato práce zkoumá potenciál sítě Transformer pro přepis mluvených slov do textu a zkoumá její účinnost na slovenských řečových datech ve srovnání s rekurentními modely ASR.

{The Transformer network is a deep neural network architecture that has recently demonstrated success in natural language processing (NLP) and other tasks due to its ability to model long-range dependencies, improve parallel processing, and reduce computational complexity. It has been successfully used in many NLP tasks and has demonstrated superior performance compared to traditional models such as recurrent and convolutional neural networks. One of the areas in which the Transformer network has also made a difference is automatic speech recognition (ASR). ASR is a challenging task due to the variability and complexity of human speech. This paper explores the potential of the Transformer network for spoken word-to-text transcription and investigates its effectiveness on Slovak speech data in comparison with recurrent ASR models.