Určování podobnosti dokumentů s použitím tradičních výpočetních metod a spolupráce davu

Abstract

Diplomová práce se zabývá kategorizací textových dokumentů a jejím následným zlepšováním pomocí spolupráce davu. Jejím cílem je návrh a vytvoření prototypu klasifikátoru textových dokumentů na základě jejich podobnosti a návrh zhodnocení a následné zlepšování kategorizace s využitím spolupráce davu. Ke kategorizaci dokumentů byl vybrán algoritmus N-gramů, který byl následně implementován v jazyce Java. Dále bylo vytvořeno rozhraní pro spolupráci davu s využitím CMS WordPress. Účelem rozhraní je, kromě sběru dat, také zhodnocení správnosti kategorizace, na základě kterého je následně rozšiřována testovací sada dokumentů klasifikátoru, čímž je úspěšnost kategorizace zvyšována. Obě části práce by měly sloužit jako základ pro chystaný projekt TAČR Éta mezi Ostravskou univerzitou v Ostravě a Vysokou školou báňskou - Technickou univerzitou Ostrava.

The master thesis deals with categorization of text documents and its improvement through crowdsourcing. Its goal is to design and implement text documents classifier prototype based on documents similarity and to design evaluation and improvements of categorization using crowdsourcing. For categorization the N-grams algorithm has been chosen, which was implemented in Java. Next, interface for crowdsourcing was created using CMS WordPress. In addition to data collection, the purpose of interface is to evaluate categorization accuracy, which leads to extension of classifier's test data set, thus the categorization is more successful. Both parts of the thesis should serve as base for prepared project between University of Ostrava and VŠB - Technical university of Ostrava.