Reinforcement Learning ve hře žánru 2D platformer v prostředí Unity

Abstract

Tato bakalářská práce se zabývá návrhem, implementací a vyhodnocením systému pro trénink autonomního agenta v prostředí dvourozměrné plošinovky s využitím algoritmů hlubokého zpětnovazebního učení. Jako simulační a vývojová platforma byl zvolen herní engine Unity ve spojení s frameworkem ML-Agents, který zajišťuje komunikaci mezi herním prostředím a optimalizačním backendem postaveným na frameworku PyTorch. Práce srovnává dva moderní algoritmy Proximal Policy Optimization (PPO) a Soft Actor-Critic (SAC) na identickém prostředí s postupně gradující obtížností. K překonání problému řídkých odměn byla implementována metoda Potential-Based Reward Shaping a pro efektivní trénink napříč pěti úrovněmi bylo využito metodiky Curriculum Learning s přenosem vah mezi jednotlivými fázemi. Výsledky experimentů ukázaly, že PPO dosáhl vysoké úspěšnosti na čtyřech z pěti úrovní, zatímco SAC uspěl pouze na prvních dvou úrovních. Práce demonstruje, že volba algoritmu má zásadní vliv na úspěšnost curriculum learning a že onpolicy přístup PPO je pro toto specifické prostředí vhodnější.

This bachelor’s thesis presents the design, implementation and evaluation of a system for training an autonomous agent in a two-dimensional platformer game environment using deep reinforcement learning algorithms. Unity game engine combined with the ML-Agents framework was chosen as the simulation and development platform, providing communication between the game environment and a PyTorch-based optimization backend. The thesis compares two modern algorithms Proximal Policy Optimization (PPO) and Soft Actor-Critic (SAC) on an identical environment with progressively increasing difficulty. Potential-Based Reward Shaping was implemented to address the sparse reward problem, and Curriculum Learning with weight transfer between training phases was used to facilitate efficient training across five levels. Experimental results show that PPO achieved high success rates on four out of five levels, while SAC succeeded only on the first two. The thesis demonstrates that algorithm selection has a significant impact on curriculum learning success and that the on-policy nature of PPO makes it more suitable for this specific environment.