Neural Networks in High Performance Computing Environment

Abstract

Roste příležitost analyzovat velké datové zdroje, ale uvědomili jsme si, že existuje nedostatek efektivních úloh zabývající dolováním dat se zaměřením na velké řídké datové soubory s velikou dimenzí. Tato práce se zaměřuje na tuto problematiku a na efektivní shlukování pomocí modelů umělé inteligence.

Pro snížení dimenze dat, navrhujeme efektivní shlukovací metody, který využívá vlastnosti neuronových sítí, zaměřujeme se na Self Organizing Maps (SOM) a Growing Neural Gas (GNG). Problémy s časovou náročností řešíme použitím paralelizace SOM a GNG algoritmů. Zaměřili jsme se na zrychlení uvedených algoritmů a dále že budou vhodné pro kolekce dat s určitou úrovní řídkost. Efektivní zrychlení je dosaženo zdokonalením fáze, která se zabývá hledání vítězného neuronu a dále fáze, která aktualizuje váhy u neuronů. Prezentované výsledky ukazují dostatečné zrychlení a to i při zachování kvality výstupní neuronové sítě.

Dále navrhujeme opět paralelizace SOM a GNG algoritmů, ale nyní bez omezení na totožné výsledky jako u standardní algoritmů. U SOM algoritmu se jedná o kombinaci Euklidovy vzdálenosti a kosinovy podobnosti u obou zmíněných fází. Druhou možností u fáze aktualizací vah je kombinace standardního SOM algoritmu s batch SOM algoritmem. U GNG algoritmu se jedná o předzpracování dat SOM algoritmem s kombinací Spanning tree algoritmem.

Nakonec jsme se zaměřili na možnost migrace paralelních aplikací napsaných v jazyce C\# mezi Windows HPC a Linux HPC, včetně možných časových ztrát.

With increasing opportunities for analysing large data sources, we have noticed a lack of effective processing in data mining tasks working with large sparse datasets of high dimensions. This work focuses on this issue and on effective clustering using models of artificial intelligence.

We propose an effective clustering algorithm to exploit the features of neural networks, especially Self Organizing Maps (SOM) and Growing Neural Gas (GNG), for the reduction of data dimensionality. The issue of computational complexity is resolved by using a parallelization of the standard SOM and GNG algorithm. We have focused on the acceleration of the presented algorithm using a version suitable for data collections with a certain level of sparsity. Effective acceleration is achieved by improving the winning neuron finding phase and the weight actualization phase. The output presented here demonstrates sufficient acceleration of the standard SOM and GNG algorithm while preserving the appropriate accuracy.

Next, we again proposed a parallelization of the SOM and GNG algorithms, but now with out restrictions to identical results as in the case of the standard algorithms. In the SOM algorithm there is a combination of Euclidean distance and cosine similarity in the winning neuron finding phase and the weight actualization phase. Another option is a combination of standard SOM and batch SOM in the weight actualization phase. In the GNG algorithm there is a pre-processing by Self Organizing Maps with Spanning tree algorithm.

Finally, we focused on the possibility of migration of parallel applications written in C# language between Windows HPC and Linux HPC, including a study of possible time losses.