Predikce spotřeby elektrické energie výpočetního clusteru

Abstract

Tato diplomová práce se zabývá predikcí doby běhu a spotřeby elektrické energie výpočetních úloh na superpočítačovém clusteru Karolina, provozovaném centrem IT4Innovations. Hlavním cílem je navrhnout a implementovat modely neuronových sítí, které na základě historických dat předpoví dobu trvání úloh (walltime) a jejich průměrnou spotřebu. Pro zpracování dat byla využita architektura vícevrstvého perceptronu (MLP) v prostředí Keras. Modely byly optimalizovány pro různé typy uzlů (CN a ACN) a uživatelských skupin. Byla rovněž navržena vlastní ztrátová funkce, která klade důraz na penalizaci podhodnocení odhadu doby běhu. Výsledky ukazují, že specializované modely dosahují vyšší přesnosti než obecné přístupy. Práce rovněž diskutuje možnosti budoucího rozšíření, například využití přirozeného zpracování jazyka pro analýzu skriptů úloh.

This thesis focuses on predicting the runtime and energy consumption of computational jobs on the Karolina HPC cluster operated by IT4Innovations. The objective is to develop neural network models capable of forecasting job walltime and average energy usage based on historical data. A multi-layer perceptron (MLP) architecture was implemented using the Keras framework. The models were trained separately for different node types (CN and ACN) and user groups. A custom loss function was designed to penalize underestimated runtimes, addressing common inefficiencies in job scheduling. The results show that specialized models significantly outperform general-purpose models in prediction accuracy. The thesis also outlines potential future enhancements, including the use of natural language processing for analyzing job scripts.