Metody komprese bioinformatických dat pro přenos na HPC infrastrukturu

Abstract

Bioinformatická data patří v současné době k jedním z nejdůležitějších typů dat pro klinický a biologický výzkum. S rychlým vývojem mikroskopických technologií je kvalita a velikost datasetů stále větší. Cílem této práce je prozkoumat metody komprese bioinformatických dat. Komprese by zajistila rychlejší přenos a menší nároky na uchovávání těchto datasetů. Nejprve zběžně uvedeme existující metody bezztrátové komprese a dále se budeme detailněji zabývat kompresi ztrátovou. Konkrétně se bude jednat o algoritmy skalární a vektorové kvantizace. Tyto metody budou vyzkoušeny na reálných datech. Součástí této práce jsou výsledky zkoumání, spolu s detailní analýzou kvality ztrátové komprese a vzniklé kompresní chyby. Výsledky dokazují, že pomocí navrhnutých algoritmů, lze na testovaných datech dosáhnout dobrých kompresních výsledků. Testovaný dataset vykazuje minimálně znatelnou chybu v obraze, při velmi dobrých kompresních poměrech.

Bioinformatical data are currently one of the most valuable data types for clinical and biological research. The fast development of microscopy techniques leads to more data with higher quality than ever before. This thesis aims to explore methods of compression of bioinformatical data. The compression would result in faster transmission times and smaller requirements for data storage. First, we describe the existing methods of lossless data compression and then we take a closer look at the lossy compression techniques. Specifically, the scalar quantization and vector quantization algorithms. These methods will be tested on real-life data. Results of compression, with a detailed analysis of a lossy compression results and the compression error, will be presented in this work. Obtained results, prove that our algorithms can achieve very good compression for the tested data. We can keep most of the image quality while minimizing the compression ratio.