Decision Transformer Model and Its Practical Use Cases

Abstract

This bachelor thesis investigates the Decision Transformer (DT) model, a recent method that reformulates reinforcement learning (RL) as a sequence modeling problem. Unlike traditional RL approaches that rely on value functions or policy gradients, DT predicts future actions based on full trajectories of states, actions, and desired returns (return-to-go). The thesis first presents the theoretical foundations of reinforcement learning and Transformer architectures, followed by a detailed examination of the DT model’s components, architecture, and advantages. Practical application areas are then proposed and evaluated through experiments in a grid-based navigation task and the game 2048. The results highlight the model’s strengths and weaknesses, and offer insights for future research and deployment in real-world settings.

Tato bakalářská práce se zabývá modelem Decision Transformer (DT), který představuje moderní přístup k řešení úloh posilovaného učení (reinforcement learning) pomocí sekvenčního modelování. Na rozdíl od tradičních metod RL, které se opírají o odhady hodnot nebo přímou optimalizaci politiky, se DT spoléhá na předchozí trajektorie a predikuje následující akce na základě historie stavů, akcí a požadovaného návratu (return-to-go). Práce nejprve představuje teoretický základ posilovaného učení a architektury Transformer, následuje podrobný popis modelu Decision Transformer, včetně jeho architektury a výhod oproti klasickým metodám. Praktická část se zaměřuje na návrh vhodných oblastí použití a ověření funkčnosti modelu pomocí experimentů v prostředí navigace v mřížce a ve hře 2048. Výsledky ukazují silné i slabé stránky modelu a poskytují doporučení pro jeho další využití v praxi.