Skriptovatelny web crawler v C#

Abstract

Cílem této bakalářské práce je vytvořit skriptovatelný webový crawler. Základní myšlenka spočívá ve vytvoření aplikace, která bude automatizovaně procházet webové stránky v závislosti na skriptu, jenž předem specifikován samotným uživatelem. Před samotnou implementací bylo zapotřebí analyzovat vhodný skriptovací jazyk, který by zastupoval použití a obsluhu crawleru. Dále bylo třeba nastudovat základní pravidla pro průchod crawleru webem spolu s omezením těchto pravidel. Výsledkem mé práce je funkční aplikace umožnujicí zjednodušené prohledávaní informací na internetu a jejich následnou interpretaci.

The aim of this bachelor thesis is to create a scriptable Web crawler. The basic idea was to create an application that would automatically browse web pages based on user-specified script. However, we needed to analyze which scripting language would be appropriate for operating with crawler and it was also necessary to learn the basic rules for the movement of the web crawler, even before we began. Also, we needed to take in account some limitations, that come with crawlers itself. In result, there is a functional application, allowing simplified searches on the Internet.