Modul RBM a DBM pro program Modeler neuronových sítí

Abstract

Tato diplomová práce se zaměřuje na rozšíření programu Modeler neuronových sítí o sítě Restricted Boltzmann Machine a Deep Boltzmann Machine. Dále se zaměřuje na paralelizaci učení těchto sítí. V této práci jsou popsány uvedené neuronové sítě a možnosti monitorování jejich učení. Jsou zde také popsány možnosti paralelizace neuronových sítí pro distribuovaný výpočet. V rámci této práce byl rozšířen program Modeler neuronových sítí a vytvořen program pro paralelizaci sítí Restricted Boltzmann Machine a Deep Boltzmann Machine využívající datový paralelismus. S využitím těchto programů a superpočítače byla porovnána rychlost učení a úspěšnost klasifikace vzorů mezi sekvenční a paralelní implementací uvedených neuronových sítí na různých datasetech.

This master thesis focuses on extending the program Neural net modeler with Restricted Boltzmann Machine and Deep Boltzmann Machine networks. Furthermore, this thesis deals with parallelization of learning of these networks. Stated neural networks and monitoring possibilities of their learning are described in this work. Possibilities of neural networks parallelization for distributed computing are also described there. In the scope of this study, the program Neural net modeler was extended and a new program was created, which deals with parallelization of Restricted Boltzmann Machine and Deep Boltzmann Machine networks using data parallelism. Using these programs and a supercomputer, the speed of learning and the success rate of pattern classification were compared between sequential and parallel implementation of the mentioned neural networks on various datasets.