Vzorkování rozsáhlých dat

Abstract

Cílem této práce je analyzovat, popsat a implementovat metody pro získání reprezentativních vzorků vektorových a síťových dat, a to zejména s ohledem na rozsáhlá data. Začátek práce je zaměřený na teoretický úvod do problematiky rozsáhlých dat. Následující část tvoří představení pojmů vektorový počet a vektorový prostor a síťových dat, jenž jsou reprezentovány ve formě grafů. Další kapitola se věnuje problému vzorkování z pohledu statistiky. Poslední teoretickou kapitolou je úvod do paralelního zpracování pomocí standardu MPI v .NET. Následující dvě kapitoly jsou praktické a prezentují existující metody získávání vzorků ve vektorových a síťových datech včetně jejich názorných implementací. Na konci práce jsou algoritmy experimentálně vyzkoušeny nad reálnými datasety a zhodnoceny.

The aim of this diploma thesis is to analyze, describe and implement of sampling methods for vector and network data with respect to big data. On the beginning the thesis focuses on theoretical basics of big data. Furthermore, in theory, the terms of vector, vector space and network data, which are represented in the form of graph, are introduced. Next chapter focuses on the statistical point of view for data sampling. The last theoretical chapter presents MPI standard for parallel processing in .NET. The next two chapters are more practical and show existing sampling methods for vector and network data including their showcase implementation. In the end of this thesis all algorithms are tested on real datasets and evaluated.