On improvements of competitive networks principles

Abstract

Umělé neuronové sítě jsou velmi silný výpočetní nástroj a jsou schopny řešit množství odlišných problémů. Pro svou primární funkci, tj. nelinearní vstupně výstupní mapování mohou být aplikovány zejména oblastech klasifikace, redukce dimenze či rozpoznávání. Tato disertační práce je zaměřena na problematiku kompetitivních sítí, které patří do rodiny sítí učených primárně bez učitele. Cílem práce je pezentovat možná vylepšení v této oblasti a tyto experimentálně ověřit. Obsahem práce je teoretická část, ve které je čtenáři poskytnut základní vhled do problematiky spolu s prezentací existujících modelů a sítí jako jsou dopředná sít, samoorganizační map, rostoucí neuronový plyn apod.. Následuje popis několika inovativních přístupů, zejména pak:

1. Je popsán klasifikátor založený na kompetitivním principu. Klasifikátor je učen novou metodou, ve které je aplikována supervize jako přirozená součást kompetitivního učení.

2. V práci je popsána aplikace výše prezentované metody kompetitivného učení, která ukazuje, jak s její pomocí zdokonalit inicializační proces třífázového učení v sítích typu RBF.

3. Dále je v práci prezentována metoda vizualizace více- dimenzionálních datových souborů, jež je kombinací kompetitivního učení a fyzikálně inpirovaného algoritmu pro kreslení grafových struktur. Výhody a vlastnosti této metody jsou prezentovány na ukázkách vizualizací několika známých datových sad.

4. V závěrečné kapitole práce je představen odlišný pohled na kompetitivní účení. Kompetitivní síť je zde nahlížena jako částicový systém, jehož jednotlivé složky jsou ovlivňovány silami dle obecně známých zákonů mechaniky. Kompetitivní účení samotné je pak transformováno v proces relaxace takového systému v čase. Popsaný model je testován proti známým datovým souborům a jsou popsány jeho vlastnosti v souvislostech s běžným modelem a možná vylepšení, které navrhovaný model poskytuje.

Artificial neural networks are very powerful computational systems and are capable of solving many various problems. They provide a nonlinear input to output mapper, and therefore, applications in classification, feature extraction or pattern recognition may be expected. This dissertation thesis focuses on competitive networks which belong to the unsupervised learning systems family. The aim of this thesis is to present possible improvements to this area and provide necessary experiments which support suggested ideas. First, an introduction to artificial neural networks is given and several common models are stated including basic feed-forward network, Self-organized Feature Map, Growing Neural Gas etc.. Next, several innovative approaches and methods are suggested. In particular, the main contributions of the thesis are as follows:

1. A classifier based on the competitive network is presented. An innovative method for learning is suggested where the competition is not supervised in the standard way but the input signals to the network are altered in order to achieve the supervision.

2. An application for the presented supervised competitive network is presented. The RBF network initialization process is addressed and possible improvements brought by the supervised competition are examined.

3. An application of competitive network in combination with the force-based graph plotting algorithm is presented. The high-dimensional data visualization technique is addressed, advantages of such approach are explored, and several datasets are visualized.

4. A new insight into competitive network principles is given. An innovative physically based model for the competition is stated and various attributes of this model are examined. The model is built above the particle system which is driven by mechanical laws of motion and all competitive principles are transformed into forces affecting particles. The model is tested against several well-known datasets to prove functionality and usability.