Predikce budoucího chování výpočetního clusteru na základě historických dat

Abstract

IT4Innovations národní superpočítačové centrum provozuje několik výpočetních clusterů, které jsou neustále monitorovány. Jsou tak dostupné informace o stavu jednotlivých výpočetních uzlů a jejich komponent. Cílem práce bylo vytvoření nástrojů, které na základě historických dat z monitoringu clusteru a plánovače úloh odhadnou budoucí spotřebu zdrojů (čas a energie) plánovaných úloh na clusteru Karolina. Predikci času jsme vyřešili pomocí analýzy parametru R, který reprezentuje poměr mezi skutečným časem běhu úlohy a vyžádaným časem běhu úlohy. Díky tomuto parametru jsme razantně zlepšili informaci, kterou nyní plánovač může dostávat ohledně délky běhu úlohy. Rozhodli jsme se predikovat průměrnou spotřebu energie na výpočetní uzel za minutu za pomocí analýzy historických úloh a metod strojového a hlubokého učení a to zejména Random Forest Regression a neuronové sítě. Výsledky této práce mohou vézt k zlepšení plánovače úloh a být i námětem dalšího zkoumání.

IT4Innovations national supercomputing center operates several computing clusters which are constantly monitored. The information about the status of individual compute nodes and their components are available. The goal of this work is to create tools that estimate the future consumption of resources (time and energy) of jobs that run on Karolina cluster based on historical data from cluster monitoring and task scheduler. The time prediction was solved by analyzing R parameter, which represents ratio between the actual job run time and the requested job run time. With this parameter, the scheduler can now receive significantly improved information about job’s run time. The average energy consumption per computing node per minute was predicted by analyzing historical jobs with machine and deep learning methods, especially Random Forest Regression and neural networks. The results of this work can lead to the improvement of the job scheduler and can be also the subject for the further research.