Reinforcement Learning pro hraní počítačových her

Abstract

Tato bakalářská práce se zabývá problematikou posilovaného učení a~jeho aplikací v~prostředí počítačových her. Cílem práce je prozkoumat a~porovnat efektivitu moderních algoritmů hlubokého posilovaného učení na příkladu hry Flappy Bird, kde se agent učí výhradně ze surových obrazových snímků herní obrazovky. Teoretická část popisuje principy Markovových rozhodovacích procesů a~fungování neuronových sítí v~kontextu Q-učení a~metod Actor-Critic. V~praktické části bylo v~jazyce Python implementováno optimalizované herní prostředí kompatibilní s~rozhraním Gymnasium a~vytvořen modulární trénovací framework. Práce experimentálně ověřuje a~porovnává šest různých agentů: DQN, Double DQN, Dueling DQN, jejich kombinaci Dueling DDQN, a~dále algoritmy A2C a PPO. Z~výsledků vyplývá, že algoritmus PPO dosáhl na standardní úrovni perfektního skóre, avšak žádný z~testovaných modelů nedokázal spolehlivě generalizovat na prostředí s~odlišnou dynamikou.

This bachelor thesis explores the application of reinforcement learning in computer games. The goal is to compare the efficiency of modern deep reinforcement learning algorithms using the game Flappy Bird, where the agent learns solely from raw pixel input of the game screen. The theoretical part describes the principles of Markov Decision Processes and the role of neural networks in the context of Q-learning and Actor-Critic methods. In the practical part, an optimized game environment compatible with the Gymnasium interface was implemented in Python, along with a modular training framework. The thesis experimentally evaluates and compares six different agents: DQN, Double DQN, Dueling DQN, their combination Dueling DDQN, as well as A2C and PPO. The results show that PPO achieved a perfect score on the standard level, yet none of the tested models were able to reliably generalize to environments with different dynamics.