Propojení dat z LiDAR senzoru s obrazem kamery pro pokročilou prostorovou interpretaci scény

Abstract

Tato bakalářská práce se zabývá problematikou fúze dat z LiDAR senzoru a kamery pro pokročilou prostorovou interpretaci scény v oblasti automobilových systémů. Cílem práce je analyzovat současné přístupy ke kombinaci těchto senzorů a navrhnout vlastní řešení jejich vzájemné kalibrace a integrace do jednotného systému. V rámci práce je implementována metoda extrinsické kalibrace umožňující převod LiDARových dat do obrazové roviny kamery. Součástí řešení je jak manuální kalibrace pomocí uživatelského rozhraní, tak návrh automatické kalibrace založené na detekci rovinných struktur a sémantické segmentaci obrazu. Systém je realizován ve vývojovém prostředí RTMaps s využitím nástrojů počítačového vidění a neuronových sítí typu YOLO. Výsledkem je funkční aplikace umožňující vizualizaci senzorové fúze v reálném čase a měření vzdálenosti dete kovaných objektů. Navržené řešení je experimentálně ověřeno na reálných datech a jeho vlastnosti jsou vyhodnoceny z hlediska přesnosti a stability kalibrace.

This bachelor thesis focuses on the fusion of LiDAR and camera data for advanced spatial scene interpretation in automotive systems. The main objective is to analyze existing approaches to sensor fusion and to design a custom solution for sensor calibration and integration into a unified framework. An extrinsic calibration method is implemented to project LiDAR point cloud data into the camera image plane. The solution includes both manual calibration using a graphical user interface and an automatic calibration approach based on plane detection and semantic segmentation. The system is implemented in the RTMaps environment using computer vision techniques and YOLO-based neural networks. The result is a functional application capable of real-time sensor fusion visualization and distance estimation of detected objects. The proposed solution is validated on real-world data, and its accuracy and stability are evaluated.