Mobilní komunikační aplikace s automatickou klasifikací emocí z obličeje

Abstract

Tato práce zkoumá možnosti klasifikace lidských obličejových emocí pomocí obrazu z kamery na zařízeních s operačním systémem Android. Porovnány byly architektury neuronových sítí optimalizované na nižší výkonové zdroje mobilních zařízení. Trénink a hodnocení jednotlivých modelů neuronových sítí probíhal v rámci Keras API knihovny TensorFlow s následným převodem do standardu TensorFlow Lite pro snížení paměťových a výpočetních nároků. Celý proces, počínaje detekcí obličeje, až po klasifikaci emoce, funguje v reálném čase. Funkční a optimalizované řešení slouží jako rozšíření komunikační aplikace s otevřeným zdrojovým kódem implementující XMPP protokol. Oba uživatelé v rámci jednoho chatu mají přehled o skutečných emocích toho druhého.

This thesis explores the possibilities of human facial emotion classification using camera images on Android devices. Neural network architectures optimized for the lower power resources of mobile devices were compared. Training and evaluation of each neural network model was performed within the Keras API of the TensorFlow library, followed by conversion to the TensorFlow Lite standard to reduce memory and computational requirements. The entire process, from face detection to emotion classification, works in real time. The functional and optimized solution serves as an extension of an open source communication application implementing the XMPP protocol. Both users within the same chat have an overview of each other's real emotions.