HEPSCORE Integration for WLCG Accounting

Abstract

This thesis investigates the enhancement of the CPU accounting workflow in the Worldwide LHC Computing Grid (WLCG) at CERN. The study focuses on analyzing the existing environment, understanding benchmarking metrics like HEPSCORE, and proposing an integrated approach for incorporating new benchmarks. The research highlights the need for updating Spark jobs code to include HEPSCORE values and streamline reporting to the third-party service, APEL. By collaborating with colleagues and utilizing a dedicated testing environment, successful integration is achieved. The findings emphasize the importance of documentation and knowledge sharing for sustained improvements in complex technical environments.

Tato diplomová práce se zabývá optimalizací procesu účtování výpočetních prostředků (CPU accounting) v rámci Worldwide LHC Computing Grid (WLCG) na CERNu. Studie se zaměřuje na analýzu stávajícího prostředí, porozumění metrikám benchmarkingu, jako je HEPSCORE, a navrhování integrovaného přístupu pro začleňování nových benchmarků. Výzkum zdůrazňuje nutnost aktualizace kódu Spark jobs pro zahrnutí hodnot HEPSCORE a efektivní plánování a reportování do externí služby APEL. Díky spolupráci s kolegy a využití námi vytvořeného testovacího prostředí je dosaženo úspěšné integrace. Výsledky práce poukazují na důležitost dokumentace a sdílení znalostí pro udržitelné zlepšování v komplexních technických prostředích.