El último éxito del grupo de IA de Google: el control del reactor de fusión

Mientras el mundo espera para construir el reactor de fusión más grande hasta la fecha, llamado ITER, reactores más pequeños Con diseños similares todavía funcionando. Estos reactores, llamados tokamaks, nos ayudan a probar tanto el hardware como el software. Las pruebas de hardware nos ayudan a mejorar cosas como los materiales utilizados para las paredes del contenedor o la forma y ubicación de los imanes de control.

Pero se puede decir que el programa es lo más importante. Para habilitar la fusión, el software de control del tokamak debe monitorear el estado del plasma que contiene y responder a cualquier cambio haciendo ajustes en tiempo real a los imanes del sistema. No hacerlo puede resultar en cualquier cosa, desde baja energía (lo que resulta en una falla de fusión) hasta ver fugas de plasma de la contención (y quemar las paredes del contenedor).

Obtener el programa de control correcto requiere una comprensión detallada tanto del imán de control como del plasma que maneja el imán. O sería más exacto decir, obtenga este software de control correctamente Tu puedes preguntar. Porque hoy, el equipo de IA de DeepMind de Google anuncia que su software ha sido entrenado con éxito para controlar tokamak.

fuera de control

El desarrollo de software de control para tokamak es un proceso complejo. Basándose en la experiencia previa con diseños similares, los ingenieros pueden obtener algunos de los principios básicos necesarios para ejecutar el software, como qué entradas de sensor leer y cómo responder a los cambios en ellas. Pero siempre hay peculiaridades que dependen del diseño de los dispositivos y las energías del plasma utilizado. Por lo tanto, tiende a haber un proceso iterativo de escalado y modelado, seguido de ajustes en el proceso de control, mientras se mantiene el rendimiento suficiente para realizar ajustes casi en tiempo real.

El programa de control resultante tiende a ser algo especializado. Si los investigadores quieren experimentar con una geometría de plasma completamente diferente en el tokamak, es posible que se requiera una revisión importante del programa.

Los investigadores en este campo ya habían identificado la inteligencia artificial como una posible solución. Dé suficientes ejemplos que sean adecuados para la inteligencia artificial, y ellos pueden decir qué configuraciones de control producen las propiedades deseadas en el plasma. Esto liberará a las personas para que se concentren en el estado final deseado y luego permitan que el software lo produzca para que puedan estudiarlo. La IA también debe ser más flexible; Una vez entrenado en cómo controlar el sistema, debería ser capaz de producir configuraciones de plasma muy diferentes para su estudio sin necesidad de reprogramación.

Para avanzar con esta idea, todo lo que necesitábamos eran expertos en IA y tokamak. Para el nuevo trabajo de investigación, el equipo de IA provino de la división DeepMind de Google, que es conocida por desarrollar software que puede manejar todo. plegamiento de proteínas a Barco de estrellas. Tokamak viene cortesía Centro Suizo de Plasma En la EPFL de Lausana.

practicar la fusión

Dado que poner IA en hardware real durante el proceso de capacitación podría ser un desastre, el equipo comenzó con una simulación de tokamak específica para el hardware del Swiss Plasma Center. Esto fue bastante preciso y programaron un límite en la IA que impidió que dirigiera plasmas a la configuración donde el simulador produciría resultados inexactos. Luego, DeepMind entrenó su software de aprendizaje profundo para acceder a una variedad de configuraciones de plasma permitiéndoles controlar el simulador.

Durante el entrenamiento, una capa superpuesta del software proporcionó una función de recompensa que indicaba qué tan cerca estaban las propiedades del plasma del estado deseado. Otro algoritmo, llamado Critic, aprendió las recompensas esperadas por varios cambios en el imán de control del tokamak. Estos fueron utilizados por la red neuronal de control real para saber qué acciones tomar.

La crítica fue elaborada y computacionalmente costosa, pero solo se usó durante la parte de entrenamiento. Cuando se entrenó, el algoritmo de control aprendió qué acciones tomar para llegar a una variedad de situaciones, y el crítico podría ser ignorado.

Para permitir el rendimiento en tiempo real, la consola entrenada se compiló como un ejecutable. Se utilizará un programa de control estándar para activar el tokamak y llevar el plasma a altas energías. Una vez que el plasma se estabilizó, entregué el control a la IA.

¡esta funcionando!

El software resultante realizó más o menos lo que le gustaría que fuera cuando lo puso en el hardware real. El software podía controlar ejecuciones experimentales que tenían como objetivo diferentes condiciones a lo largo del tiempo: en un caso de prueba, aumentó la potencia, mantuvo estable el plasma, luego cambió la geometría del plasma y luego movió el plasma dentro del tokamak antes de aumentar la potencia nuevamente. En otro caso, contenía dos estructuras separadas de plasma en el mismo tokamak simultáneamente.

El documento que describe este trabajo contiene una gran lista de cosas que los autores necesitan. Esta lista incluye un simulador de tokamak que es lo suficientemente detallado para ser preciso pero lo suficientemente compacto para proporcionar retroalimentación lo suficientemente rápido para hacer posible el aprendizaje por refuerzo. El conjunto de entrenamiento debe incluir tanto condiciones comunes similares a las de donde se entregó el control como condiciones inusuales que le permitan aprender cómo transferir esas configuraciones a configuraciones experimentales. Además, los investigadores necesitaban desarrollar un software lo suficientemente detallado para evaluar una amplia gama de posibles opciones de control, pero también poder entrenar un controlador de rendimiento rápido que pudiera compilarse en un archivo ejecutable.

Las personas detrás de este trabajo también están entusiasmadas con lo que podría presagiar un trabajo futuro. En lugar de simplemente limitar las cosas a modelar dispositivos existentes, sugieren que debería ser posible darle a este programa la configuración requerida del plasma y permitirle determinar la arquitectura de hardware que le permitirá crear eso. Alternativamente, puede mejorar el rendimiento de los dispositivos existentes.

Ahora solo tenemos que esperar un reactor de fusión digno de IA.

Naturaleza, 2022. DOI: 10.1038 / s41586-021-04301-9 (Acerca de los DOI).