Rozhodovanie v počítačových hrách - porovnanie metód umelej inteligencie

Abstract

Tato diplomová práce si klade za cíl vytvořit 3D herní prostředí, ve kterém se může hráčská postava volně pohybovat a interagovat s NPC agenty, jejichž rozhodování je řízené různými algoritmy strojového učení. První část této práce je věnována seznámení se s problematikou strojového učení, vymezení pojmů a popisu využitých algoritmů. Tyto algoritmy jsou rozděleny do dvou skupin. První spadá do oblasti konstrukce rozhodovacího stromu na základě vstupní datové sady a konkrétně jde o algoritmy ID3, D4.5 a CART. Druhá skupina patří do oblasti reinforcement learningu. Jako zástupce této skupiny byl zvolen algoritmus PPO. Druhá část práce ve stručnosti popisuje využité technologie, jejich výhody, nevýhody, motivaci pro jejich využití a zvažované alternativy. Prostřední část je zaměřená na celkovou tvorbu herního prostředí, herní smyčky, hráčské postavy a jednotlivých NPC agentů. U těch byl kladen důraz na implementaci jejich chování a percepce v závislosti na typu algoritmu využitého pro rozhodování. Následně se práce věnuje problematice spojené s trénováním reinforcement learning modelu, který byl iterativně trénovaný na scénářích se zvyšující se obtížností. V závěru jsou potom jednotlivé algoritmy porovnány z hlediska výkonu při učení nebo rozhodování, jako i jiných aspektů. Tyto výsledky jsou následně diskutovány v kontextu případného reálného nasazení a problémů s tím spojených.

This thesis aims to create a 3D game environment in which the player character can move freely and interact with NPC agents whose decision making is controlled by various machine learning algorithms. The first part of this thesis is devoted to the introduction of machine learning, the definition of terms and the description of the algorithms used. These algorithms are divided into two groups. The first one falls into the area of decision tree construction based on the input dataset and specifically these algorithms are ID3, D4.5 and CART. The second group belongs to the area of reinforcement learning. The PPO algorithm has been chosen as a representative of this group. The second part of the thesis briefly describes the technologies used, their advantages, disadvantages, the motivation behind their use, or the alternatives considered. The middle part focuses on the overall creation of the game environment, the core game loop, the player character and the individual NPC agents. For those, the focus was on the implementation of their behaviour and perception depending on the type of algorithm used for their decision making. Subsequently, the thesis addresses issues related to the training of a reinforcement learning model that was iteratively trained on scenarios with increasing difficulty. Finally, the different algorithms are then compared in terms of performance in learning or decision making as well as other aspects. These results are then discussed in the context of possible real deployment and the problems associated with it.