Zpracování velkých objemů nestrukturovaných dat na platformě Hadoop

Abstract

Tato práce se zabývá zpracováním nestrukturovaného textu na platformě Hadoop. První část se zaměřuje na důvody vzniku konceptu Big Data. Vysvětlím problematiku dat dnešní doby a ukážu, proč jsou běžné databázové systémy nevhodné pro práci s nestrukturovanými či velkými objemy dat. Další část je zaměřená na teorii konceptu Big Data a jeho zpracování na platformě Hadoop. Představím Hadoop architekturu, a jak se liší od běžného databázového skladu. Také vysvětlím teorii paralelního zpracování dat, a jak je toto paralelní zpracování řešeno na platformě Hadoop. Poslední část se zabývá praktickou částí řešení zpracování obsahu nestrukturovaných serverových logů na platformě Hadoop. Jakým způsobem jsme schopni tato data analyzovat a získat z nich využitelné informace. Výsledek této části budu prezentovat v reportingovém programu QlikView. Výsledek byl rovněž zpracován na klasické SQL databázi, aby se porovnal přínos Hadoop platformy při zpracování nestrukturovaných dat.

This thesis is concerned with processing unstructured text on Hadoop platform. First part focuses on the reasons of creation Big Data concept. I explain data issue of these days and show, why common database systems are inappropriate for working with huge amounts of unstructured data. The next part focuses on theory about Big Data concept and processing on Hadoop platform. I introduce Hadoop architecture and how it differs from common warehouse database. I also explain parallel data processing theory and how parallel processing is solved on Hadoop platform. The last part focuses on practical part to solve processing huge amounts of unstructured server logs on Hadoop platform. How can we analyze these data and get some valuable information from them. The result will be presented in reporting program QlikView. Result was also processed on classic SQL database, to compare Hadoop platform contribution in processing unstructured data.