Kolmogorov-Arnold Network analysis and comparison with classical neural networks

Abstract

This thesis analyzes Kolmogorov-Arnold Networks and compares them with classical Multi-Layer Perceptrons. The theoretical part describes the principles of both architectures. The experimental part evaluates KANs and MLPs on binary classification, multiclass classification, and regression tasks using the Two Moons, MNIST, and PJME Hourly Energy Consumption datasets. The comparison considers predictive performance, training time, inference time, memory usage, and the number of parameters. The results show that KANs can outperform MLPs on selected low-dimensional and regression tasks, but they are usually computationally more expensive. Therefore, KANs represent a promising alternative to MLPs, although their practical usefulness depends on the task and computational constraints.

Tato diplomová práce analyzuje Kolmogorovovy-Arnoldovy sítě a porovnává je s klasickými vícevrstvými perceptrony. Teoretická část popisuje principy obou architektur. Experimentální část hodnotí KAN a MLP na úlohách binární klasifikace, vícetřídní klasifikace a regrese s využitím datových sad Two Moons, MNIST a PJME Hourly Energy Consumption. Porovnání zahrnuje predikční schopnosti, dobu trénování, dobu inference, využití paměti a počet parametrů. Výsledky ukazují, že KAN mohou překonat MLP na vybraných nízkodimenzionálních a regresních úlohách, obvykle jsou však výpočetně náročnější. KAN tedy představují slibnou alternativu k MLP, jejich praktická využitelnost však závisí na typu úlohy a výpočetních omezeních.