¿Por qué los chatbots de IA dicen mentiras y actúan de manera extraña? Yo miro en el espejo.

Cuando Microsoft agregó un chatbot a su motor de búsqueda Bing este mes, la gente notó que estaba brindando todo tipo de información falsa sobre Gap, la vida nocturna mexicana y la cantante Billie Eilish.

Luego, cuando los periodistas y otros evaluadores tempranos entablaron largas conversaciones con el bot de IA de Microsoft, descendió a un comportamiento brusco, intimidante y alarmante.

En los días transcurridos desde que el comportamiento del bot de Bing se convirtió en una sensación mundial, la gente ha luchado por comprender la extrañeza de esta nueva creación. Con demasiada frecuencia, los científicos han dicho que los humanos merecen gran parte de la culpa.

Pero todavía hay un poco de misterio sobre lo que puede hacer el nuevo chatbot y por qué lo hará. Su complejidad hace que sea difícil de diseccionar e incluso predecir, y los investigadores lo ven a través de una lente filosófica, así como del código duro de la informática.

Como cualquier otro estudiante, un sistema de IA puede aprender mala información de malas fuentes. ¿Es este comportamiento extraño? Puede ser el reflejo distorsionado de un chatbot de las palabras y las intenciones de las personas que lo usan, dijo Terry Sejnowski, neurocientífico, psicólogo e informático que ayudó a sentar las bases intelectuales y técnicas de la inteligencia artificial moderna.

Esto sucede cuando profundizas en estos sistemas. Trabajo de investigación sobre este fenómeno Este mes en la revista científica Neural Computation. «Lo que sea que estés buscando, lo que quieras, te lo proporcionarán».

Google también presumir nuevo chatbot, Bard, este mes, pero los científicos y los periodistas rápidamente se dieron cuenta de que estaba escribiendo tonterías sobre el telescopio espacial James Webb. OpenAI, una startup de San Francisco, inició el auge de los chatbots en noviembre cuando presentó ChatGPT, que no siempre dice la verdad.

Los nuevos chatbots están impulsados ​​por una tecnología que los científicos llaman Modelo de lenguaje grande o LLM Estos sistemas aprenden analizando grandes cantidades de texto digital extraído de Internet, que incluye un montón de material desacreditado, sesgado y tóxico. Además, el script del que aprenden los chatbots se está volviendo un poco desactualizado, porque tienen que pasar meses analizándolo antes de que el público pueda usarlo.

A medida que analiza este mar de información buena y mala en línea, el LLM aprende a hacer una cosa en particular: adivinar la siguiente palabra en una cadena de palabras.

Funciona como una versión gigante de la tecnología de autocompletar que sugiere la siguiente palabra a medida que escribe un correo electrónico o un mensaje instantáneo en su teléfono inteligente. Mirando la secuencia «Tom Cruise es ____», uno podría adivinar «actor».

Cuando chatea con un chatbot, el bot no solo confía en todo lo que ha aprendido de Internet. Confía en todo lo que le dijiste y en todo lo que dijo. No se trata solo de adivinar la siguiente palabra en una oración. Es adivinar la siguiente palabra en el texto largo que incluye tanto tus palabras como las de ella.

Cuanto más larga sea la conversación, más influirá el usuario sin darse cuenta en lo que dice el chatbot. Si quieres que se enoje, se enoja, dijo el Dr. Sejnowski. Si lo convences para que sea espeluznante, se vuelve espeluznante.

La reacción alarmante por el extraño comportamiento del chatbot de Microsoft ha eclipsado un punto importante: el chatbot no tiene personalidad. Ofrece resultados instantáneos a través de un algoritmo informático increíblemente complejo.

Microsoft parece estar recortando el comportamiento más extraño cuando puso un límite a la duración de las conversaciones con el chatbot de Bing. Era como aprender de un piloto de pruebas que ir demasiado rápido durante demasiado tiempo haría que el motor se quemara. El socio de Microsoft, OpenAI, y Google también están explorando formas de controlar el comportamiento de sus bots.

Pero hay una advertencia a este tranquilizador: debido a que los chatbots aprenden de tanto material y lo ensamblan de una manera tan compleja, los investigadores no tienen del todo claro cómo los chatbots producen sus resultados finales. Los investigadores observan lo que hacen los bots y aprenden a poner límites a ese comportamiento, a menudo después de que haya ocurrido.

Microsoft y OpenAI decidieron que la única forma en que podían detectar lo que iban a hacer los chatbots en el mundo real era dejar que se perdieran y hacerlos rodar cuando se alejaran. Piensan que su gran experimento público vale la pena el riesgo.

El Dr. Sejnowski comparó el comportamiento del chatbot de Microsoft con el Espejo de Oesed, un artefacto misterioso en las novelas de Harry Potter de J.K. Rowling y las muchas películas basadas en su mundo creativo de jóvenes magos.

«Maverick» es «deseo» escrito al revés. Cuando la gente descubre el espejo, parece proporcionar verdad y comprensión. Pero ella no. Muestra los deseos profundamente arraigados de cualquiera que lo mire. Y algunas personas se vuelven locas si miran por mucho tiempo.

«Debido a que el ser humano y el LLM se reflejan mutuamente, con el tiempo tenderán hacia un estado conceptual común», dijo el Dr. Sejnowski.

No fue sorprendente, dijo, que los periodistas comenzaran a ver un comportamiento espeluznante en el chatbot de Bing. Ya sea consciente o inconscientemente, estaban empujando al sistema en una dirección incómoda. A medida que los chatbots toman nuestras palabras y las reflejan en nosotros, pueden reforzar y ampliar nuestras creencias y convencernos de que creamos lo que nos dicen.

El Dr. Sejnowski se encontraba entre un pequeño grupo de investigadores a fines de la década de 1970 y principios de la de 1980 que comenzaron a explorar seriamente un tipo de inteligencia artificial llamada red neuronal, que está impulsando los chatbots de hoy.

Una red neuronal es un sistema matemático que aprende habilidades mediante el análisis de datos numéricos. Esta es la misma tecnología que permite que Siri y Alexa reconozcan lo que dices.

Alrededor de 2018, los investigadores de empresas como Google y OpenAI comenzaron a construir redes neuronales que aprendieron de grandes cantidades de texto digital, incluidos libros, artículos de Wikipedia, registros de chat y otras cosas publicadas en línea. Al identificar miles de millones de patrones en todo ese texto, los LLM han aprendido a crear texto por su cuenta, incluidos tweets, publicaciones de blog, discursos y programas de computadora. Incluso pueden mantener una conversación.

Estos sistemas son un reflejo de la humanidad. Aprenden sus habilidades analizando textos publicados por humanos en Internet.

Esa no es la única razón por la que los chatbots generan un lenguaje problemático, dijo Melanie Mitchell, investigadora de inteligencia artificial en el Instituto Santa Fe, un laboratorio independiente en Nuevo México.

Al crear texto, estos sistemas no repiten lo que está en Internet palabra por palabra. Generan texto nuevo por su cuenta al combinar miles de millones de estilos.

Incluso si los investigadores solo entrenaron estos sistemas en la literatura científica revisada por pares, aún podrían producir declaraciones que fueran científicamente absurdas. Incluso si solo aprendieron del texto que era cierto, aún pueden producir falsedades. Incluso si solo aprenden del texto completo, aún pueden generar algo espeluznante.

«No hay nada que les impida hacer eso», dijo el Dr. Mitchell. «Simplemente están tratando de producir algo que suene como el lenguaje humano».

Los expertos en IA saben desde hace tiempo que esta tecnología exhibe todo tipo de comportamientos inesperados. Pero no siempre pueden ponerse de acuerdo sobre cómo explicar este comportamiento o qué tan rápido pueden mejorar los chatbots.

Debido a que estos sistemas aprenden de muchos más datos de los que los humanos podemos comprender, incluso los expertos en inteligencia artificial no pueden entender por qué están generando un texto específico en un momento dado.

El Dr. Czejkowski dijo que cree que, a largo plazo, los nuevos chatbots tienen el potencial de hacer que las personas sean más eficientes y brindarles formas de hacer su trabajo mejor y más rápido. Pero esto viene con una advertencia tanto para las empresas que construyen estos chatbots como para las personas que los usan: también pueden alejarnos más de la verdad y llevarnos a lugares oscuros.

“Este es un territorio desconocido”, dijo el Dr. Czejkowski. «Los humanos nunca han experimentado esto antes».