Dictionary Based Data Compression

Abstract

Abstract Data compression has gained increased attention of researchers and developers in the last few decades. It comes handy when users have limited storage capacity or transmission bandwidth as it reduces the size of data without much loss. There have been many types of compression techniques proposed by researchers so far, Lempel-Ziv series of algorithms, for example. Lempel-Ziv series of algorithms are lossless algorithms and follow a dictionary-based approach to data compression where a dictionary is used to keep references of repeated text or words and are omitted to reduce size of data. Out of all the Lempel-Ziv algorithms, this study focuses on Lempel-Ziv-Ross-Williams (LZRW) algorithm and its implementation, which was proposed by Ross Williams in 1991. There is a brief introduction in the study which talks about basics of data compression followed by the compression techniques. Various dictionary-based algorithms have also been compared with each other discussing along with their weaknesses and advantages. Not only that, there is also a brief description on how data compression works for L1 cache. The design issues faced by the designers while implementing data cache compression have also been noted in this study.

Abstrakt

Komprese dat si získala v posledních několika desetiletích zvýšenou pozornost výzkumníků a vývojářů. Je užitečné používání komprese dat, pokud uživatelé mají k dispozici omezenou úložnou kapacitu nebo datovou propustnost, protože snižují velikost dat bez velké ztráty. Existuje mnoho typů kompresních technik navržených výzkumnými pracovníky, např. řady algoritmů Lempel-Ziv. Série algoritmů Lempel-Ziv jsou bezztrátové algoritmy a řídí se slovníkem založeným na kompresi dat, kde je slovník používán k udržování odkazů na opakovaný text nebo slova a je vynechán ke snížení velikosti dat. Ze všech algoritmů Lempel-Ziv se tato studie zaměřuje na algoritmus Lempel-Ziv-Ross-Williams (LZRW) a jeho implementaci, který navrhl Ross Williams v roce 1991. Ve studii je krátký úvod, který hovoří o základech komprese dat s popisem kompresních technik. Různé algoritmy na bázi slovníku byly také navzájem porovnány, spolu s jejich výhodami a nevýhodami. Studie obsahuje také stručný popis toho, jak komprese dat funguje pro vyrovnávací cache paměť L1. V této studii byly rovněž zaznamenány konstrukční problémy, s nimiž se potýkají vývojáři při implementaci komprese dat ve vyrovnávací paměti.