Analýza metod senzorové fúze LiDARu a kamerového obrazu pro interpretaci scén

Abstract

Bakalářská práce se zabývá analýzou a experimentálním srovnáním metod senzorové fúze LiDARu a kamerového obrazu pro účely interpretace scény v prostředí autonomního řízení. Teoretická část popisuje fyzikální principy obou senzorů – mechanismus měření vzdálenosti metodami Time-of-Flight a spojité fázové modulace u LiDARu, model dírkové kamery, intrinsické a extrinsické kalibrační parametry – a systematicky třídí fúzní strategie podle úrovně abstrakce zpracovávaných dat na early fusion, feature-level fusion a decision-level fusion, včetně analýzy jejich výhod, omezení a typických reprezentantů v literatuře. Praktická část popisuje návrh a implementaci modulárního systému v jazyce Python, pracujícího s 1500 snímky z tréninkové sady datasetu KITTI. Zpracování LiDAR dat zahrnuje segmentaci vozovky prahováním výšky, adaptivní voxelizaci a shlukování algoritmem HDBSCAN s parametry přizpůsobenými průměrné vzdálenosti bodů od senzoru, doplněné geometrickou filtrací a algoritmem NMS. Detekce kamerou je realizována modelem YOLOv8n předtrénovaným na datasetu COCO s mapováním výstupních tříd na kategorie KITTI. Systém implementuje dvě metody fúze: Feature-level Fusion využívá LiDAR pro vymezení oblasti zájmu (ROI) v obraze, přičemž klasifikaci objektů výhradně v této oblasti provádí model YOLOv8n s prahem spolehlivosti. Decision-level Fusion zpracovává data obou senzorů nezávisle a výsledky páruje Greedy algoritmem na základě skóre shody kombinujícího IoU ohraničujících rámečků a euklidovskou vzdálenost jejich středů v obrazovém prostoru, přičemž do finálního hodnocení vstupují pouze detekce potvrzené oběma senzory současně. Přesnost obou metod byla vyhodnocena pomocí metrik Precision, Recall a F1-skóre.

This bachelor’s thesis examines the analysis and experimental comparison of LiDAR and camera image sensor fusion methods for scene interpretation in autonomous driving applications. The theoretical section describes the physical principles of both sensors—the distance measurement mechanism using Time-of-Flight and continuous phase modulation methods in LiDAR, the pinhole camera model, and intrinsic and extrinsic calibration parameters—and systematically classifies fusionstrategies according to the level of abstraction of the processed data into early fusion, feature-level fusion, and decision-level fusion, including an analysis of their advantages, limitations, and typical examples in the literature. The practical section describes the design and implementation of a modular system in Python, working with 1500 images from the KITTI dataset training set. LiDAR data processing involves road segmentation via height thresholding, adaptive voxelization, and clustering using the HDBSCAN algorithm with parameters adapted to the average distance of points from the sensor, supplemented by geometric filtering and the NMS algorithm. Camera detection is performed using the YOLOv8n model pre-trained on the COCO dataset with output classes mapped to KITTI categories. The system implements two fusion methods: Feature-level Fusion uses LiDAR to define the region of interest (ROI) in the image, with object classification exclusively within this area performed by the YOLOv8n model with a confidence threshold. Decision-level Fusion processes data from both sensors independently and pairs the results using a Greedy algorithm based on a matching score combining the IoU of the bounding boxes and the Euclidean distance between their centers in image space, with only detections confirmed by both sensors simultaneously entering the final evaluation. The accuracy of both methods was evaluated using the Precision, Recall, and F1-score metrics.