Transfer learning pro analýzu textových dat

Abstract

Cílem této práce bylo otestovat metody přeneseného učení na různých datasetech a poté tyto me- tody srovnat s jednoduššími metodami strojového učení používanými pro analýzu dat. Jelikož je analýza textu komplexní obor, vybral jsem pro své experimenty podobor zvaný klasifikace textu. Experimenty by se neobešly bez dat pro ně vhodných, proto se práce částečné zabývá vhodnou úpravou dat. Práce se zaměřuje nejen na data v anglickém jazyce, ale také v jazyce českém a francouzském, díky tomu je možno porovnat výkon jednotlivých modelů a metod pro daný jazyk. Zajímavé jsou potom výsledky pro jednotlivé přístupy, za zmínku stojí velmi vysoký výkon trans- former modelů, které i při malém množství trénovacích dat dosahují mnohdy lepších výsledků, než metody využívající hlubokého učení trénované na datových sadách obsahující statisíce trénovacích vzorků.

The aim of this bachelor thesis was to test transfer learning methods on different datasets and then compare results with simpler machine learning methods. Text analysis is a complex field, so I picked a subfield called text classification. Experiments need data, therefore I included a part dedicated to their preprocessing. There is more than one language used in the experiments. Used languages are English, French and Czech, with more languages I could compare results of each method and model within the language and without the doubt I could tell which method performs the best for the language. I would like to mention a very good performance of the transformer models, they can perform surprisingly well even with small training dataset, in most cases they even outperformed deep learning methods trained on tens of thousands training samples.