Shlukování na základě hustoty pro velká data

Abstract

Tato diplomová práce se věnujeme problematice shlukování, zejména pak shlukování na základě hustoty s důrazem na běh pro velká data. V první části práce jsou popsány teoretické poznatky, věnujeme se shlukování podle hustoty rozložení dat v prostoru a velká část je věnována popisu algoritmu DBSCAN. Následně se seznámíme s pokročilými datovými strukturami pro ukládání dotazovaných dat. Ve druhé části implementujeme vlastní řešení upraveného algoritmu DBSCAN, který využívá kd-strom jako datovou strukturu a umožňuje paralelní běh. V závěru změříme výsledky paralelizovaného řešení v porovnání se sekvenčním algoritmem, porovnáme kd-strom s přístupem dotazování hrubou silou a podíváme se na možné návrhy dalšího vylepšení.

This diploma thesis focuses on clustering with special interest in density based cluster analysis for big data. In the beginnig, there is a theory behind clustering and mainly behind density based cluster analysis and the DBSCAN algorithm. Significant part of the first half of this theses consists of the data structures for efficient data storage and quering. In the second part, we propose our own version of DBSCAN with kd-tree used as a data structure and with parallel aproach of some of DBSCAN’s steps. We than measure the impact of parallelizing the DBSCAN algorithm and compare the basic approach of querying data using brute force in contrast to kd-tree. In the final part we propose possible enhancements and functionality for further improvement.