Využití Spark pro zpracování dat na HPC infrastruktuře

Abstract

Diplomová práce popisuje technologie Apache Hadoop a Spark. V první částí seznamuje jak s popisem technologií tak s implementací vybraných algoritmů za pomoci těchto technologií. Druhá část je věnována návrhu grafického klienta pro spouštění implementovaných algoritmů nad službou HPC as a Service. Hlavním cílem bylo porovnání různých implementací algoritmů s využitím Apache Hadoopu a Sparku nad rozsáhlými datovými sadami na infrastruktuře HPC v technologickém centru IT4Innovations.

Diploma thesis describes technologies an Apache Hadoop and a Spark. In first part it explains technologies and implementation selected algorithms. The second part is devode design graphic client for launching implemented algorithms on HPC as a Service. The main goal was compare different implementation algorithms with use Hadoop and Spark onto range of dataset on HPC infrastructure in technology center IT4Innovations.