Aprendizaje reforzado para el desarrollo de jugadores virtuales

Abstract

El aprendizaje reforzado es una vertiente del machine learning o aprendizaje automático que en la última década ha ganado gran protagonismo por su elevado desempeño en todo tipo de tareas en las que programar manualmente una inteligencia artificial que las realice sea demasiado complicado, impulsado por constantes avances y nuevos algoritmos que surgen año tras año. Expertos han logrado además, mediante el uso de técnicas de aprendizaje reforzado, un hito antes imposible de alcanzar: desempeño sobrehumano de agentes en juegos mucho más complejos que un simple Pong, lo que, junto a la ausencia en el Centro de Tecnologías Interactivas de la Universidad de las Ciencias Informáticas de productos que usen este tipo de tecnología, impulsó la investigación para desarrollar jugadores virtuales empleando aprendizaje reforzado. Un profundo análisis de diversos elementos teóricos relacionados con el tema permite la selección del algoritmo PPO con una CNN por encima de otros para emplear como base para el agente, implementado con ayuda del paquete ML-Agents para Unity y Python. La metodología XP fue la guía para el diseño e implementación de la solución, teniendo como apoyo una serie de pruebas de aceptación para el demo y de desempeño del agente para validar la solución como adecuada.

Reinforcement learning is a branch of machine learning that in the last decade has gained great prominence due to its high performance in all kinds of tasks in which manually programming an artificial intelligence to perform them is too complicated, driven by constant advances and new algorithms that emerge year after year. Experts have also achieved, through the use of reinforcement learning techniques, a milestone previously impossible to achieve: superhuman performance of agents in games much more complex than simple Pong, which, together with the absence in the Interactive Technologies Center of the University of Informatics Sciences of products that use this type of technology, promoted research to develop virtual players using reinforcement learning. A deep analysis of various theoretical elements related to the subject allows the selection of the PPO algorithm with a CNN over others to use as a base for the agent, implemented with the help of the ML-Agents package for Unity and Python. The XP methodology was the guide for the design and implementation of the solution, supported by a series of acceptance tests for the demo and agent performance to validate the solution as adequate.