Paralelizace neuronové sítě Growing Neural Gas

Abstract

Diplomová práce se zabývá paralelizací algoritmu Growing Neural Gas (GNG), inkrementální samoorganizující se neuronové sítě určené pro vektorovou kvantizaci a topologické mapování. Bylo navrženo a implementováno šest variant algoritmu v jazyce C# na platformě .NET 8: sekvenční referenční implementace, dvě varianty CPU paralelismu využívající Task Parallel Library a ThreadPool a tři varianty GPU akcelerace postavené na knihovnách ManagedCUDA a ILGPU s různými způsoby definice výpočetního kernelu. Varianty byly experimentálně porovnány na datasetu C4 z kolekce RedPajama-Data-1T s hash-based vektorizací. Experimenty ukázaly, že GPU akcelerace přináší výrazné zrychlení oproti sekvenční implementaci při zachování srovnatelné kvality shlukování, zatímco přínos CPU paralelismu je při dané velikosti sítě omezený. Byla rovněž identifikována a kvantifikována inherentní omezení plynoucí z online charakteru algoritmu GNG.

This thesis investigates the parallelization of the Growing Neural Gas (GNG) algorithm, an incremental self-organizing neural network used for vector quantization and topological mapping. Six variants of the algorithm were designed and implemented in C# on the .NET 8 platform: a sequential reference implementation, two CPU-parallel variants based on the Task Parallel Library and ThreadPool, and three GPU-accelerated variants built on ManagedCUDA and ILGPU with different kernel definition strategies. The variants were experimentally compared on the C4 dataset from the RedPajama-Data-1T collection using hash-based vectorization. Experiments showed that GPU acceleration provides substantial speedup over the sequential baseline while maintaining comparable clustering quality. CPU parallelism, however, offered limited benefit at the given network size. Inherent limitations arising from the online nature of the GNG algorithm were also identified and quantified.