Reinforcement learning v robotických a simulovaných prostředích

Abstract

Tato diplomová práce se zabývá pokročilými metodami hlubokého reinforcement learningu se zaměřením na oblast spojitého řízení v robotických a simulovaných prostředích. Teoretický základ práce tvoří popis principů hlubokého reinforcement learningu, představení současného vývoje v této oblasti a detailní analýza algoritmů PPO, TD3 a SAC. Tyto algoritmy jsou následně implementovány s důrazem na provedení optimalizací na úrovni zdrojového kódu a podrobeny výkonnostnímu testování v robotických simulátorech MuJoCo a DeepMind Control Suite. Dosažené výsledky jsou pak srovnány s referenčními standardy Stable-Baselines3 a CleanRL a vyhodnoceny z hlediska efektivity, výpočetní náročnosti a robustnosti vůči nastavení.

This Master's thesis focuses on advanced deep reinforcement learning methods with an emphasis on continuous control in robotic and simulated environments. The theoretical framework consists of a description of deep reinforcement learning principles, an overview of current developments in the field, and a detailed analysis of the PPO, TD3, and SAC algorithms. Subsequently, these algorithms are implemented with an emphasis on code-level optimizations and subjected to performance testing in the MuJoCo and DeepMind Control Suite robotic simulators. The achieved results are then compared with the reference standards Stable-Baselines3 and CleanRL and evaluated in terms of efficiency, computational complexity, and robustness to configuration.