Monitoring HPC cluster a IT infrastruktury v IT4Innovations

Abstract

Cílem práce je implementace nových monitorovacích systémů a jejich konsolidace s již existujícími systémy, nasazenými v IT4Innovations (Národní superpočítačové centrum IT4Innovations) tak, aby vznikl centralizovaný monitoring výpočetních clusterů a infrastruktury. Pro implementaci centralizovaného monitorovacího řešení je použit nástroj Icinga2. Celé řešení je nasazeno pomocí konfiguračních nástrojů Puppet a Ansible dle umístění monitorovacích serverů. Podařilo se vytvořit clusterovaný, třívrstvý monitorovací systém. Části monitorovacího systému splňují požadavky na vysokou dostupnost a rozložení zátěže. Monitorovací servery jsou rozděleny do zón dle příslušného clusteru či infrastruktury. Správcům je k dispozici jednotný centrální webový přístup. Nasazení monitorovacího řešení je plně automatizováno konfiguračními nástroji a je tak zajištěna možnost rychlého nasazení do produkčního prostředí s minimální nutností ruční konfigurace.

The aim of this work is implementation of new monitoring systems and consolidation with existing ones already deployed at IT4Innovations (National supercomputing center IT4Innovations) to deliver centralized HPC clusters and infrastructure monitoring solutions. The Icinga2 monitoring tool is used for implementation of centralised monitoring. The whole solution is deployed using the configuration tools Puppet and Ansible, based on the location of monitoring servers. A three-tier, clustered monitoring system has been created. The components of the monitoring system fulfil requirements for high availability and load-balancing. Monitoring servers are cordoned into zones based on aimed clusters or infrastructure. Centrally accessed web frontend is available for system administrators. The monitoring solution is deployed in a fully automated manner, using configuration tools, so the possibility of fast delivery into the production environment with minimal need of manual work is ensured.