Zpracování dat s Wikipedie

Abstract

Cílem této diplomové práce je zdokumentovat možnosti zpracování dat Wikipedie. V první části popisuje způsob, jak tato data získat, zpracovat a uložit pro další analýzu. Přitom je na databázi nahlíženo jako na síť a zaměření je na provázání stránek mezi sebou pomocí odkazů. Samotná analýza probíhá v prostředí Python. Práce popisuje, jak vytvořit graf a jak nad tímto grafem spočítat základní vlastnosti a metriky. Dále je zdokumentován postup hledání komunit v grafu včetně vlastní implementace algoritmu Label Propagation. Prezentovány jsou výsledky jednotlivých kroků.

Goal of this master thesis is to describe options of how to process data from Wikipedia. First part is about how to get the data, process them and save for further analysis. The database is viewed as a network, so it's focused on pages and their connections through links. The analysis is made in Python environment. Thesis describes how to create a graph and how to calculate his basic properties an metrices. It further documents the procedure of finding the communities, including custom implementation of Label Propagation algorithm. Presented are results of each step.