Reinforcement Learning pro ovládání dronů

Abstract

Diplomová práce se zabývá využitím hlubokého posilovaného učení pro řízení kvadrokoptéry v simulačním prostředí. Teoretická část shrnuje problematiku bezpilotních leteckých systémů, fyzikální principy letu multirotorových prostředků, omezení klasických metod řízení a základy posilovaného učení se zaměřením na algoritmy DDPG a TD3.

Praktická část se věnuje návrhu a realizaci experimentálního trénovacího rámce v prostředí CoppeliaSim s využitím knihovny PyRep. Součástí řešení je návrh stavového a akčního prostoru, odměnové funkce a vícefázového učebního plánu pro úlohy stabilizace, vzletu a přistání. Následně jsou porovnány různé strategie trénování založené na odlišném uspořádání učebního procesu.

Dosažené výsledky ukazují, že algoritmus TD3 dosahuje ve srovnání s DDPG vyšší stability učení, lepší datové efektivity a kvalitnější výsledné řídicí politiky. Práce potvrzuje, že posilované učení představuje perspektivní přístup pro řízení UAV v simulačním prostředí, a současně identifikuje klíčové faktory ovlivňující jeho úspěšnou aplikaci s ohledem na budoucí přenos do reálného systému.

Master's thesis examines the use of deep reinforcement learning for quadcopter control in a simulation environment. The theoretical section summarizes the field of unmanned aerial systems, the physical principles of multirotor flight, the limitations of classical control methods, and the fundamentals of reinforcement learning, with a focus on the DDPG and TD3 algorithms.

The practical section is devoted to the design and implementation of an experimental training framework in the CoppeliaSim environment using the PyRep library. The solution includes the design of the state and action spaces, the reward function, and a multi-phase training plan for stabilization, takeoff, and landing tasks. Subsequently, various training strategies based on different arrangements of the training process are compared.

The results show that, compared to DDPG, the TD3 algorithm achieves higher learning stability, better data efficiency, and higher-quality control policies. The thesis confirms that reinforcement learning represents a promising approach for UAV control in a simulation environment, while also identifying key factors influencing its successful application with regard to future transfer to a real-world system.