Sledování frekvence slov v internetových zpravodajských serverech

Abstract

Cieľom tejto práce je spracovanie článkov na verejných českých spravodajských serveroch. Výstupom je frekvencia najčastejších slov v určitom časovom intervale alebo na určitom spravodajskom serveri. Formát článkov sa na jednotlivých serveroch značne odlišuje a strojové extrahovanie hlavného textu článku nie je jednoduché. Práca sa zaoberá predovšetkým metódami extrakcie dát z článkov, aby bolo možné jednoducho pridávať do sledovania ďalšie spravodajské servery.

Výsledným riešením je vytvorenie robustného nástroja pre strojové extrahovanie dát z článkov na spravodajských serveroch a nástroj, ktorý umožňuje jednoduché a rýchle pridávanie spravodajských serverov do automatického sledovania a strojovej extrakcie. Extrahované dáta sú následne spracovávané a uložené do databázy spolu s frekvenciami jednotlivých slov a ďalšími súvisiacimi dátami tak, aby bolo možné získať štatistické údaje pre rôzne časové intervaly a pre rôzne servery.

Výstup extrakcie dát je možné ovplyvniť zoznamami stop slov a ekvivalentných slov, ktoré je možné jednoducho dynamicky meniť. Prácu s nástrojom umožňuje jednoduché webové užívateľské rozhranie, ktoré dovoľuje efektívne vyhľadávanie frekvencie slov v danom časovom intervale alebo na danom serveri.

The aim of this work is processing of articles on public Czech news servers. Output is frequency of the most frequent words in a certain period of time or at certain news server. Format of articles is considerably different in dependence on particular server and mechanical extracting of article's main body is not easy. The work is primarily concerned with methods of extracting data from articles for purpose of easily adding of other news servers to monitoring.

The resulting solution is creation of robust tool for mechanical data extraction from articles in news servers and tool that allows easy and fast news servers adding to automatically monitoring and mechanical extraction. Extracted data are then processed and stored into a database along with the frequencies of individual words and other related data in order to obtain statistics for different time intervals and for different servers.

The output of data extraction can be influenced by lists of stop words and equivalent words, which can be easily changed dynamically. Work with tool allows simple web interface that allows efficient searching of words frequency in a given time interval or in a given server.