In-Vehicle Driver State Analysis Using Image Segmentation

Abstract

This thesis investigates in-vehicle driver state analysis using deep learning, with the aim of improving road safety. The central idea is a data-driven approach that leverages semantic segmentation and monocular depth estimation to enrich existing datasets. First, a semantic segmentation model is trained to isolate the driver within the vehicle interior. Subsequently, experiments are conducted using autoencoders with various types of input image representations, including segmentation masks, estimated depth maps, depth sensor data, RGB images, and combined RGBD images. Three different autoencoder architectures are compared, each incorporating temporal information through the analysis of image sequences. Experimental results demonstrate that when driver masking is applied, anomaly detection performs better with estimated depth maps than with depth sensor data. These findings suggest the potential of semantic segmentation and monocular depth estimation to enhance anomaly detection performance in in-vehicle driver monitoring systems.

Tato práce se zabývá analýzou stavu řidiče ve vozidle pomocí metod hlubokého učení s cílem zvýšit bezpečnost silničního provozu. Hlavní myšlenkou je datově orientovaný přístup využívající sémantickou segmentaci a odhad hloubky z 2D obrazu k vylepšení stávajících datových sad. Nejprve je natrénován model pro sémantickou segmentaci, který umožňuje izolovat řidiče v interiéru vozidla. Následně jsou provedeny experimenty s autoenkodéry nad různými typy vstupních obrazových reprezentací včetně segmentačních masek, odhadovaných hloubkových map, dat z hloubkového senzoru, RGB snímků a kombinovaných RGBD snímků. Jsou porovnány tři různé architektury autoenkodérů, z nichž každá zahrnuje modelování temporálních informací prostřednictvím analýzy sekvencí snímků. Experimentální výsledky ukazují, že při maskování vstupů segmentací řidiče dosahuje detekce anomálií lepších výsledků s odhadovanými hloubkovými mapami než s daty z hloubového senzoru. Tyto závěry naznačují, že sémantická segmentace a odhad hloubky mají potenciál přispět ke zlepšení detekce anomálií v systémech pro monitorování řidiče ve vozidle.