Stereo Matching for Scenes of Natural Origin

Abstract

Computational stereo generally refers to a problem of determining the three-dimensional structure of a scene from two or more images taken from different positions. Stereo vision is currently an active research domain in computer vision. Moreover, it is considered to be one of the core topics in image analysis. An interest in the stereo reconstruction has gradually grown for the past 30 years. The modern research in the stereo vision began in the mid-1970s and was largely supported by the DARPA. The first applications were mainly military and included cruising missiles and autonomous vehicles navigations. Nowadays, the results of three-dimensional reconstruction algorithms are used in many applications including robotics, industrial automation, autonomous land rovers, aircraft navigation, remote sensing, automated cartography, and also in stereomicroscopy. This thesis presents the further developments of computer vision and stereo reconstruction in the field of biology. We describe novel algorithms for the stereo matching, depth segmentation and three-dimensional reconstruction and focus (not only) on the applications in the area of natural science, biology and environmental protection. In the sequel, we will introduce the stereo matching problem, describe the state-of-the-art approaches and then present our own contributions. First, we will describe the construction of a unique scanning device, specially adapted for biological studies. Next, we will cover the necessary steps leading to the three dimensional reconstruction of the scanned samples. And finally, we will present three novel algorithms, invented during the work on the device.

Počítačová rekonstrukce prostorového modelu scény je proces, při kterém se z dvou a více vstupních snímků stejné scény vypočítá její prostorový model. Tomuto odvětví zpracování obrazu je věnována velká pozornost již od konce 70. let minulého století. Byla to agentura DARPA, která podporovala jedny z prvních výzkumů automaticky naváděných střel a autonomních vozidel vybavených stereo kamerami a algoritmy pro rekonstrukci scény. V současné době se tyto algoritmy využívají v celé škále aplikací počínaje robotikou, průmyslovou automatizací, leteckou navigací, autonomní navigací vozidel, konče kartografií a stereomikroskopií. Tato dizertační práce dále rozvíjí metody prostorové rekonstrukce a demonstruje její využití, mimo jiné i v oblasti biologie. V textu práce jsou představeny nové algoritmy pro hledání korespondence v obraze, segmentaci na základě prostorové hloubky a stereo rekonstrukci scény. Algoritmy byly využity pro zpracování dat z oblasti přírodních věd, biologie a ochrany životního prostředí. V úvodu jsou definovány základní problémy rekonstrukce scény, aktuálně užívané metody a principy pro hledání korespondence v obraze. V druhé části práce je popsána konstrukce speciálního zařízení pro studium biologických vzorků. Později je pozornost zaměřena na samotný postup pro rekonstrukci scény s využitím třech nových algoritmů pro hledání korespondence v obraze a segmentaci s využitím hloubkových dat.