Přenos velkého množství dat v prostředí HPC

Abstract

Tato diplomová práce řeší přenos velkého množství dat v prostředí HPC, konkrétně v aplikaci HPC DataStore. Cílem práce, bylo prozkoumat možnosti zvýšení datové propustnosti a otestovat naimplementovaná řešení. Navržená řešení byla přechod z protokolu HTTP/1.1 na HTTP/2, implementace cache na straně serveru a přechod z klasického blokovaného přístupu k REST API na reaktivní přistup. Provedeny byly také porovnání s jinými technologiemi, a to konkrétně SCP a SFTP. Po implementaci navržených úprav bylo provedeno testování aplikace pro všechna navržená řešení, a také pro finální řešení kombinující všechny návrhy. Vyhodnocení probíhalo na základě testování časů přenosu a datové propustnosti a to jak stahování, tak nahrávání souborů na HPC DataStore. Výsledky testování potvrdily, že provedené úpravy vedly k zlepšení propustnosti aplikace.

This master thesis deals with the transfer of large amounts of data in an HPC environment, specifically in the HPC DataStore application. The aim was to investigate the possibilities of increasing the data throughput and to test the implemented solutions. The proposed solutions were switching from HTTP/1.1 to HTTP/2, implementing server-side caching and switching from classic blocked access to REST API to reactive access. Comparisons were also made with other technologies, namely SCP and SFTP. After implementing the proposed modifications, application testing was performed for all the proposed solutions and also for the final solution combining all the proposals. The evaluation was done by testing the transfer times and data throughput both downloading and uploading files to the HPC DataStore. The results of the testing confirmed that the modifications made led to an improvement in the application throughput.