Podobnost dokumentů na Webu

Abstract

Tato bakalářská práce se zabývá extrakcí dat z blogů na Internetu, jejich analýzou a zpracováním výsledků do grafové podoby. V první části práce byl vytvořen program, který příspěvky získané z blogů ukládá do XML souborů. Ty pak obsahují titulek, odkaz na příspěvek, autora, datum, odkazy a tělo příspěvku. Druhá část práce se zabývá zpracováním těchto souborů. Jejich analýza je vizualizována sloupcovými a koláčovými diagramy a orientovanými grafy. Následně je vypočítána podobnost mezi jednotlivými příspěvky pomocí vzorce pro kosinovou podobnost a vztah podobnosti mezi texty je pak použit jako cena hrany v neorientovaném grafu.

This bachelor’s thesis is concerned with data extraction from blogs on the Internet, their analysis and its processing into the form of graphs. In the first part of the thesis, a program was created which saves the entries acquired from blogs to XML files. These files then include the title, a link to the entry, the author, date, links and the body of the entry. The second part of the thesis deals with processing these files. Their analysis is visualized using column and pie diagrams and directed graphs. The similarity is then calculated between separate entries using the formula for Cosine similarity and the similarity between texts is then used as the edge value in an undirected graph.