Optimalizace systému pro distribuované přenosy a ukládání rozsáhlých dat

Abstract

Distribuovaná správa dat mezi sdílenými úložišti napříč datovými centry představuje čím dál tím větší výzvu. Tato diplomová práce se touto problematikou zabývá v kontextu platformy LEXIS, která zjednodušuje přístup ke zdrojům HPC. Cílem práce je optimalizace komponenty Distributed Data Interface (DDI), která nabízí rozhraní pro distribuovanou správu dat a jejich metadat a také asynchronní přenosy datových kolekcí mezi lokacemi. To přináší možnost jednotné správy dat bez ohledu na jejich fyzické umístění. Práce obsahuje rešerši v oblasti systémů pro distribuované řízení dat. Výstupem práce je vylepšený zdrojový kód komponenty DDI a zátěžové testy s jejich výsledky.

Distributed data management between shared repositories across data centers is a growing challenge. This thesis deals with this issue in the context of the LEXIS platform, which simplifies access to HPC resources. The aim of the work is to optimize the Distributed Data Interface (DDI) component, which offers interface for distributed data management and metadata, as well as asynchronous transfers of data collections between locations. This brings the possibility of unified data management regardless of their physical location. The work includes a research of systems for distributed data management. The output of the work is improved source code of the DDI component and load tests with their results.