Más detalles sobre Polyphony Digital y la nueva tecnología de Sony AI – GTPlanet

Polyphony Digital fue revelado recientemente Gran Turismo Sofíaun nuevo sistema de conducción de inteligencia artificial que aparecerá en gran turismo 7. La tecnología se desarrolló en colaboración con el equipo de 25 personas de Sony AI, utilizando los últimos avances en aprendizaje automático. La investigación del equipo fue publicada en naturaleza Y GT Sophy probó (¡y derrotó!) a algunos de los mejores pilotos de Gran Turismo del mundo en Evento en vivo en Tokio el año pasado.

Sin embargo, la revelación de GT Sophy generó casi tantas preguntas como respuestas. ¿Cómo funciona exactamente la tecnología? ¿Cómo se integrará realmente? GT7¿Y qué tipo de restricciones hay?

Para ayudar a responder todas estas preguntas, hemos estudiado naturaleza La publicación habló con el creador de la serie Gran Turismo, Kazunori Yamauchi, y el director de Sony AI America, Peter Wurman, en una entrevista exclusiva. Esto es lo que aprendimos.

¿Cómo funciona Sophie en realidad?

Como «jugadora», Sophie ve el entorno virtual de Gran Turismo como un mapa estático, con las líneas izquierda, derecha y central definidas como puntos 3D. La pista frente al Sophy está dividida en 60 segmentos igualmente espaciados, con la longitud de cada segmento calculada dinámicamente por la velocidad del vehículo. Cada clip representa aproximadamente 6 segundos de viaje en cualquier momento.

Sophy también tiene acceso a cierta información sobre lo que hace el automóvil en su entorno, incluida la velocidad 3D, la velocidad angular, la aceleración, la carga en cada llanta y los ángulos de deslizamiento de las llantas. También es consciente del progreso del vehículo a lo largo de la vía, la pendiente de la superficie de la vía, la dirección del vehículo hacia la línea central de la vía y los bordes delanteros. El juego notifica a Sophy si el vehículo entra en contacto o viaja fuera de los límites de pista predeterminados del juego.

En términos de controles, el Sophy solo tiene acceso a las entradas de aceleración, frenado y dirección izquierda/derecha. Solo puede modular estas entradas a una velocidad de 10 Hz, o aproximadamente cada 100 milisegundos. No tiene acceso al cambio de marchas, control de tracción, balance de frenos o cualquier otro parámetro normalmente disponible para jugadores humanos.

Estas variables ambientales y la información limitada se le presentan a Sophie, y luego comienza a trabajar. Usando algoritmos avanzados de «aprendizaje automático», conduce el camino una y otra vez. Es «recompensado», deportivamente, al moverse por la pista en la menor cantidad de tiempo, y «castigado», nuevamente, en términos deportivos, si hace contacto con paredes u otros autos o si se sale de los límites.

“GT Sophy se entrenó mediante el aprendizaje por refuerzo”, explicó Peter Wehrmann, director de Sony AI America. «Esencialmente, le dimos recompensas por avanzar en la pista o adelantar a otro auto, y penalizaciones por salirse de la pista o chocar contra otros autos. Para asegurarnos de que aprendiera a actuar en situaciones de carreras competitivas, pusimos al concesionario en muchas situaciones de carreras diferentes con varios tipos diferentes de oponentes. Con suficiente práctica, a través de prueba y error, pudo aprender a manejar otros autos. Había una línea muy fina entre ser lo suficientemente agresivo para mantener su línea de conducción y ser demasiado agresivo y provocando accidentes y recibiendo sanciones».

Worman continuó describiendo los desafíos más difíciles en el procesamiento de datos. La parte difícil fue descubrir cómo presentar esta información a las redes neuronales de la manera más eficiente. Por ejemplo, a través de prueba y error, descubrimos que codificar aproximadamente 6 segundos de la pista que se aproxima era suficiente información para que el GT Sophy tomara decisiones sobre sus líneas de conducción «, explicó. «Otro gran desafío fue equilibrar las señales de recompensa y castigo para producir un agente que era a la vez agresivo y deportivo. «lo bueno».

Sophy hace todo esto en tiempo real, en la PlayStation 4 real con una edición especial de deporte de gran turismo que informa los datos de posición requeridos y acepta entradas de control a través de una conexión de red. El código Sophy es ejecutado por servidores que se comunican con PlayStations a través de la red. Para ayudar a acelerar el proceso, Sophy controla 20 autos que viajan en la pista al mismo tiempo. Los resultados se envían a servidores equipados con chips NVIDIA V100 o A100 y GPU a nivel de servidor diseñadas para procesar datos de inteligencia artificial y aprendizaje automático.

Es importante tener en cuenta que este tipo de potencia informática solo se necesita para «crear» Sophy, no para ejecutarlo. El proceso de aprendizaje automático eventualmente conduce a «modelos» que luego pueden implementarse en hardware más modesto.

“El aprendizaje de Sophy se procesa en paralelo con los recursos informáticos en la nube, pero si solo está implementando una red ya adquirida, entonces la PS5 local es más que suficiente”, explicó Kazunori Yamauchi. «Esta asimetría del poder de cómputo es una característica general de las redes neuronales».

¿En qué se diferencia Sofía?

La IA en los juegos de carreras siempre ha sido una especie de «caja negra». Los desarrolladores de juegos rara vez discuten cómo funciona realmente, pero es una parte importante de los juegos de carreras con la que interactúan todos los jugadores. Teníamos curiosidad por saber más sobre cómo ha funcionado la IA de Gran Turismo en el pasado y qué hace que Sophy sea tan diferente.

Como nos ha mostrado Kazunori Yamauchi, el proceso de aprendizaje automático le proporciona a Sophy más reglas de comportamiento que las que pueden diseñar los programadores humanos, pero esta estrategia también tiene sus inconvenientes.

Yamauchi-san explica: «Hasta ahora, la inteligencia artificial se ha basado en reglas, por lo que básicamente funciona como un programa ‘si-entonces'». los especificados. Por otro lado, Sophy genera una gran cantidad de reglas implícitas que los humanos no pueden manejar, dentro de su capa de red. Como resultado, son capaces de adaptarse a diferentes condiciones y entornos. Pero dado que estas reglas son implícitas, esto significa que no es posible hacer que aprendan un «comportamiento específico» que sería simple para una IA basada en reglas. «

¿Cómo aparecería Sophie en gran turismo 7

Aunque Sophy se ha desarrollado en los últimos años utilizando deporte de gran turismoLa tecnología aparecerá por primera vez en la realidad gran turismo 7 En una futura actualización del juego. El anuncio de Kazunori Yamauchi fue escaso en detalles, por lo que era algo sobre lo que estábamos emocionados de preguntarle.

«Es posible que Sophie aparezca frente al jugador en tres formas», explicó Yamauchi-san. «Como profesor que enseña a conducir a los jugadores, estudiante que aprende la deportividad de los jugadores y como amigo que corre con él. No descartaría la posibilidad de establecer Spec B, donde el jugador es el director de carrera y Sophie es el conductor.”

Sophy también se puede utilizar como herramienta en el propio juego. «En principio, es posible usar Sophy para la configuración de BOP», agregó Yamauchi. «Si solo se tratara de alinear los tiempos de vuelta de los diferentes autos, se puede hacer ahora. Pero dado que la configuración de BoP no se trata solo de tiempos de vuelta, no se lo dejaremos todo a Sophie, pero definitivamente ayudará a crear BoP». .”

Sophie todavía está aprendiendo

Una vez que se reveló a Sophy, teníamos curiosidad por saber más sobre sus limitaciones. El equipo de IA de Sony es plenamente consciente de cómo Sophy puede mejorar y la tecnología en sí aún se encuentra en desarrollo activo.

Por ejemplo, en la iteración actual, Sophy está capacitado en caminos específicos en condiciones específicas, pero el equipo espera que la tecnología pueda adaptarse. «Estas versiones del GT Sophy fueron entrenadas en combinaciones específicas de huellas de vehículos», explicó Warman. «Mejorar el rendimiento de conducción del concesionario a la par con las modificaciones en el rendimiento del vehículo es parte de nuestro trabajo futuro. Esta versión del GT Sophy tampoco ha sido entrenada para las diferencias ambientales, pero esperamos que las tecnologías continúen funcionando en estas condiciones».

Cuando Sophy debutó como una superpiloto capaz de derrotar a los mejores jugadores de Gran Turismo del mundo, inmediatamente surgieron preguntas e inquietudes sobre su capacidad para adaptarse a los conductores humanos menos competitivos.

Según Peter Wehrmann, el Sophy puede adaptarse manejando literalmente como un conductor nuevo en lugar de solo desacelerar artificialmente. “Esto también es parte de nuestro trabajo futuro”, explicó el director de Sony AI America. «Nuestro objetivo es crear un factor que, cuando esté en un modo ‘lento’, se conduzca como un conductor menos experimentado, en lugar de verse perjudicado de alguna manera, como acelerar o desacelerar arbitrariamente en violación de la física».

El objetivo inicial de Sony AI era desarrollar una IA más rápida y competitiva, que luego pudieran aprovechar para desarrollar una herramienta de propósito general que hiciera que el juego fuera más divertido para todos. «Nuestro objetivo con este proyecto era demostrar que podemos crear un agente que pueda competir con los mejores jugadores del mundo. Nuestro objetivo final es crear un agente que pueda brindar a los jugadores de todo tipo una experiencia de carrera emocionante», enfatizó Warman.

Más detalles

La investigación y el desarrollo que se dedican a los videojuegos de hoy, especialmente los juegos de Gran Turismo, generalmente están protegidos como secretos comerciales. Esto hace que la transparencia del desarrollo de Sophy sea más refrescante e increíblemente genial para aquellos interesados.

Si desea profundizar y obtener más información sobre el funcionamiento interno de Sophy, puede leer el artículo completo revisado por pares en la edición del 10 de febrero de 2022 de naturaleza Periódico científico. Artículo y resumen Disponible para descargar con suscripción. Acceso gratuito a naturalezaConsulte con su biblioteca o universidad local.

Estamos seguros de saber más sobre Sophy todavía GT7Fue lanzado el 4 de marzo de 2022. Y, como de costumbre, estaremos atentos a cualquier noticia tan pronto como se revele. ¡Manténganse al tanto!

Mira más artículos sobre Gran Turismo Sophy y Kazunori Yamauchi.