Visualizaciones únicas de redes neuronales: decodificador automático versus reconocimiento sensorial humano

resumen: Un nuevo estudio profundiza en el misterioso mundo de las redes neuronales profundas y descubre que, si bien estos modelos pueden reconocer objetos similares a los sistemas sensoriales humanos, sus estrategias de reconocimiento difieren de la percepción humana. Cuando se pide a las redes que generen estímulos similares a una entrada determinada, a menudo producen imágenes y sonidos irreconocibles o distorsionados.

Esto sugiere que las redes neuronales cultivan sus propias “constantes” distintas, que son marcadamente diferentes de los patrones de percepción humanos. La investigación proporciona información sobre la evaluación de modelos que imitan las percepciones sensoriales humanas.

Hechos clave:

1. Las redes neuronales profundas, cuando generan estímulos similares a una entrada determinada, a menudo producen imágenes o sonidos que no se parecen en nada al objetivo.
2. Los modelos parecen desarrollar constantes únicas, diferentes de los sistemas de percepción humanos, que les hacen percibir los estímulos de manera diferente a los humanos.
3. El uso del entrenamiento competitivo puede hacer que los estímulos generados por modelos sean más reconocibles para los humanos, aunque no sean idénticos a la entrada original.

fuente: Instituto de Tecnología de Massachusetts

Los sistemas sensoriales humanos son muy buenos para reconocer cosas que vemos o palabras que escuchamos, incluso si el objeto está al revés o la palabra se pronuncia con un sonido que nunca antes hemos escuchado.

Se pueden entrenar modelos informáticos conocidos como redes neuronales profundas para hacer lo mismo: identificar correctamente una imagen de un perro independientemente del color de su pelaje o identificar una palabra independientemente del tono de voz del hablante. Sin embargo, un nuevo estudio realizado por neurocientíficos del MIT encuentra que estos modelos a menudo responden de la misma manera a imágenes o palabras que no se parecen al objetivo.

Cuando estas redes neuronales se utilizaron para generar una imagen o palabra que respondiera de la misma manera que una entrada natural específica, como la imagen de un oso, la mayoría generó imágenes o sonidos que los observadores humanos no podían reconocer. Esto sugiere que estos modelos construyen sus propios “invariantes”, lo que significa que responden de la misma manera a estímulos con características muy diferentes.

Los hallazgos ofrecen una nueva forma para que los investigadores evalúen qué tan bien estos modelos imitan la organización de la percepción sensorial humana, dice Josh McDermott, profesor asociado de ciencias cerebrales y cognitivas en el MIT y miembro del Instituto McGovern para la Investigación del Cerebro y del Centro para el Cerebro del MIT. . Mentes y máquinas.

«Este artículo muestra que se pueden utilizar estos modelos para extraer señales anormales que, en última instancia, conducen a un diagnóstico de las representaciones en el modelo», dice McDermott, autor principal del estudio. «Esta prueba debería formar parte de un conjunto de pruebas que utilizamos como campo para evaluar modelos».

Jenelle Feather Ph.D. ’22, ahora investigadora en el Centro de Neurociencia Computacional del Instituto Flatiron, es la autora principal del artículo de acceso abierto, que aparece hoy en Neurociencia normal. Guillaume Leclerc, estudiante de posgrado del MIT, y Alexandre Madry, profesor Cadence de Sistemas de Diseño para Computación en el MIT, también son autores del artículo.

Diferentes percepciones

En los últimos años, los investigadores han entrenado redes neuronales profundas que pueden analizar millones de entradas (sonidos o imágenes) y aprender características comunes que les permiten clasificar una palabra u objeto objetivo con la misma precisión que lo hacen los humanos. Estos modelos se consideran actualmente los modelos líderes de sistemas sensoriales biológicos.

Se cree que cuando el sistema sensorial humano realiza este tipo de categorización, aprende a ignorar características que no están relacionadas con la identidad básica del objeto, como la cantidad de luz que incide sobre él o el ángulo desde el que se mira. Esto se conoce como invariancia, lo que significa que los objetos se perciben como iguales incluso si muestran diferencias en aquellas características menos importantes.

«Clásicamente, la forma en que pensábamos sobre los sistemas sensoriales es que construyen invariantes para todas las fuentes de variación que pueden tener diferentes ejemplos de la misma cosa», dice Feather. “El organismo debe percibir que son la misma cosa, aunque aparezcan como señales sensoriales completamente diferentes”.

Los investigadores se preguntaron si las redes neuronales profundas entrenadas para realizar tareas de clasificación podrían desarrollar invariantes similares. Para intentar responder a esta pregunta, utilizaron estos modelos para generar estímulos que produjeran el mismo tipo de respuesta dentro del modelo como estímulo de ejemplo que los investigadores proporcionaron al modelo.

Llaman a estos estímulos “medidas típicas”, reviviendo una idea de la investigación clásica sobre la percepción según la cual estímulos que son indistinguibles de un sistema pueden usarse para diagnosticar sus constantes. El concepto de analogías se desarrolló originalmente en el estudio de la percepción humana para describir colores que parecen idénticos aunque estén compuestos de diferentes longitudes de onda de luz.

Para su sorpresa, los investigadores descubrieron que la mayoría de las imágenes y sonidos producidos de esta manera no se parecían a los ejemplos proporcionados originalmente por los modelos. La mayoría de las imágenes eran una mezcla de píxeles de apariencia aleatoria y los sonidos eran como ruidos ininteligibles. Cuando los investigadores mostraron las imágenes a observadores humanos, en la mayoría de los casos los humanos no clasificaron las imágenes sintetizadas por los modelos en la misma categoría que el ejemplo objetivo original.

«En realidad, son completamente irreconocibles para los humanos. No parecen ni suenan naturales, y no tienen características interpretables que cualquiera pueda usar para clasificar un objeto o una palabra», dice Feather.

Los resultados sugieren que los modelos de alguna manera han desarrollado sus propias constantes que difieren de las que se encuentran en los sistemas cognitivos humanos. Esto hace que los modelos perciban los pares de estímulos como iguales aunque sean significativamente diferentes de los humanos.

Constantes jurisprudenciales

Los investigadores encontraron el mismo efecto en muchos paradigmas diferentes de visión y audición. Sin embargo, cada uno de estos modelos parece desarrollar sus propias constantes únicas. Cuando los indicadores de un modelo se presentaron a otro modelo, los indicadores del segundo modelo no eran tan reconocibles como lo eran para los observadores humanos.

«La principal conclusión de esto es que estos modelos parecen tener lo que llamamos invariantes característicos», dice McDermott. «Han aprendido a ser invariantes para estas dimensiones específicas del campo de estímulo, que es específico de un modelo específico, por lo que otros modelos no tienen las mismas invariantes».

Los investigadores también descubrieron que podían estimular las métricas del modelo para que fueran más reconocibles para los humanos utilizando un enfoque llamado entrenamiento adversario. Este enfoque se desarrolló originalmente para combatir otra limitación de los modelos de reconocimiento de objetos, que es que la introducción de cambios pequeños, casi imperceptibles, en una imagen puede hacer que el modelo la reconozca erróneamente.

Los investigadores descubrieron que el entrenamiento competitivo, que implicaba incluir algunas de estas imágenes ligeramente modificadas en los datos del entrenamiento, producía modelos cuyas métricas eran más reconocibles para los humanos, aunque todavía no eran tan reconocibles como los estímulos originales. Los investigadores dicen que esta mejora parece ser independiente del efecto del entrenamiento sobre la capacidad de los modelos para resistir ataques hostiles.

«Este tipo de entrenamiento tiene un gran efecto, pero realmente no sabemos por qué se produce ese efecto», dice Feather. «Esta es un área para futuras investigaciones».

Según los investigadores, el análisis de métricas producidas por modelos computacionales podría ser una herramienta útil para ayudar a evaluar en qué medida un modelo computacional imita la organización básica de los sistemas de percepción humanos.

«Esta es una prueba de comportamiento que se puede realizar en un modelo particular para ver si las constantes se comparten entre el modelo y los observadores humanos», dice Feather. «También se puede utilizar para evaluar qué tan específicas son las constantes dentro de un modelo determinado, lo que puede ayudar a revelar posibles formas de mejorar nuestros modelos en el futuro».

Financiación: La Fundación Nacional de Ciencias, los Institutos Nacionales de Salud, la Beca de Posgrado en Ciencias Computacionales del Departamento de Energía y una beca de Amigos del Instituto McGovern financiaron la investigación.

Acerca de las noticias sobre investigación en inteligencia artificial y cognición

autor: Sara McDonnell
fuente: Instituto de Tecnología de Massachusetts
comunicación: Sarah McDonnell – Instituto de Tecnología de Massachusetts
imagen: Imagen acreditada a Neuroscience News.

Búsqueda original: Acceso abierto.
«Las herramientas de medición típicas revelan diferentes invariantes entre redes neuronales biológicas y artificiales“Por Josh McDermott et al. Neurociencia normal

un resumen

Las herramientas de medición típicas revelan diferentes invariantes entre redes neuronales biológicas y artificiales

A menudo se proponen modelos de redes neuronales profundas de sistemas sensoriales para aprender transformaciones representacionales con invariancias como las del cerebro. Para descubrir estas invariantes, creamos «métricas de modelo», que son estímulos cuyas activaciones dentro de la fase del modelo coinciden con las del estímulo natural.

Los instrumentos para los modelos modernos de redes neuronales supervisados ​​y no supervisados ​​de visión y audición a menudo han sido completamente irreconocibles para los humanos cuando se generaron a partir de etapas tardías del modelo, lo que sugiere diferencias entre el modelo y las invariantes humanas. Los cambios específicos del modelo mejoraron el reconocimiento humano de las herramientas de medición del modelo, pero no eliminaron la discrepancia general entre el modelo humano y el modelo.

La reconocibilidad humana de las métricas del modelo se predice bien por su reconocibilidad por otros modelos, lo que sugiere que los modelos contienen invariantes distintas además de las requeridas por la tarea.

La reconocibilidad de los metámeros está desacoplada de los criterios tradicionales basados ​​en el cerebro y de los débilmente contradictorios, lo que revela un modo de falla distinto de los modelos sensoriales existentes y proporciona un criterio complementario para la evaluación del modelo.