Conozca BLOOMChat: un modelo conversacional multilingüe y multilingüe (LLM) de lenguaje grande de código abierto construido sobre el modelo BLOOM

Con algunos grandes avances en el campo de la inteligencia artificial, los sistemas de lenguaje natural avanzan rápidamente. Los Language Large Models (LLM) son cada vez mejores y más populares con cada actualización e innovación. Casi a diario se agrega una nueva función o mod, lo que permite que LLM funcione en diferentes aplicaciones en casi todos los campos. LLM está en todas partes, desde la traducción automática y el resumen de texto hasta el análisis de opiniones y la respuesta a preguntas.

La comunidad de código abierto ha logrado un progreso notable en el desarrollo de LLM basados ​​en chat, pero principalmente en inglés. Se ha puesto menos énfasis en el desarrollo de un tipo similar de capacidad de chat multilingüe en LLM. Para abordar esto, SambaNova, una compañía de software enfocada en soluciones generativas de inteligencia artificial, ha introducido una conversación LLM multilingüe de código abierto llamada BLOOMChat. Desarrollado en colaboración con Together, una nube de IA abierta, escalable y descentralizada, BLOOMChat es un chat LLM multilingüe de 176 mil millones de variables construido sobre el modelo BLOOM.

El modelo BLOOM tiene la capacidad de generar texto en 46 lenguajes naturales y 13 lenguajes de programación. Para idiomas como el español, el francés y el árabe, BLOOM representa el primer modelo de idioma jamás creado con más de 100 mil millones de parámetros. BLOOM fue desarrollado por BigScience, una colaboración internacional de más de 1000 investigadores. Al ajustar BLOOM para abrir conjuntos de datos de conversación y alineación de proyectos como OpenChatKit, Dolly 2.0 y OASST1, las capacidades principales de BLOOM se han extendido al dominio del chat.

Para desarrollar el chat multilingüe, LLM, BLOOMChat, SambaNova y Together utilizaron los sistemas SambaNova DataScale que utilizan la arquitectura de flujo de datos reconfigurable única de SambaNova para el proceso de capacitación. Se combinaron datos de conversación sintética y muestras escritas por humanos para crear BLOOMChat. Se usó un gran conjunto de datos sintéticos llamado OpenChatKit como base para la función de chat, y se usaron conjuntos de datos de alta calidad generados por humanos, como Dolly 2.0 y OASST1, para mejorar en gran medida el rendimiento. El código y los scripts utilizados para configurar la ayuda en los conjuntos de datos de OpenChatKit y Dolly-v2 se proporcionan en GitHub de SambaNova.

En evaluaciones humanas realizadas en seis idiomas, se prefirieron las respuestas de BLOOMChat a las respuestas de GPT-4 el 45,25 % de las veces. En comparación con otros cuatro modelos de alineación de chat de código abierto con los mismos seis idiomas, las respuestas de BLOOMChat se clasificaron como las mejores el 65,92 % de las veces. Este logro cierra con éxito la brecha de capacidad de chat multilingüe en el mercado de código abierto. En la prueba de localización de WMT, BLOOMChat se desempeñó mejor que las iteraciones adicionales del modelo BLOOM, así como los modelos populares de chat de código abierto.

BLOOMChat, como otros LLM, tiene limitaciones. Puede resultar en información incorrecta o objetivamente irrelevante o puede cambiar de idioma por error. Incluso puede repetir frases, tiene habilidades matemáticas o de codificación limitadas y, a veces, produce contenido tóxico. Se están realizando más investigaciones para abordar estos desafíos y garantizar una mejor usabilidad.

En conclusión, BLOOMChat se basa en el extenso trabajo de la comunidad de código abierto y es una gran adición a la lista de algunos LLM multilingües muy útiles. Lanzado bajo una licencia de código abierto, SambaNova y Together tienen como objetivo ampliar el acceso a capacidades avanzadas de chat multilingüe y fomentar una mayor innovación en la comunidad de investigación de IA.

escanear el proyecto Y Artículo de referencia. No olvides unirte Sub Reddit de 21k+MLY canal de discordiaY Y Boletín electrónico, donde compartimos las últimas noticias de investigación de IA, interesantes proyectos de IA y más. Si tiene alguna pregunta sobre el artículo anterior o si nos hemos perdido algo, no dude en enviarnos un correo electrónico a [email protected]

🚀 Echa un vistazo a las herramientas de IA de 100 en el club de herramientas de IA