Perspectivas de Galactica: Lo que Meta Descubrió del Modelo Fallido Lanzado Solo Dos Semanas Antes de ChatGPT

Hace un año, solo dos semanas antes del lanzamiento de ChatGPT por OpenAI, Meta presentó Galactica, un "modelo de lenguaje de código abierto para la ciencia" entrenado con 48 millones de artículos científicos. Meta afirmó que Galactica podía resumir literatura académica, resolver problemas matemáticos, generar artículos de Wikipedia, escribir código científico y anotar moléculas y proteínas.

Sin embargo, Galactica fue retirada tras solo tres días, el 17 de noviembre de 2022, debido a la fuerte reacción del público ante sus resultados, que en ocasiones eran inexactos y ofensivos, un fenómeno conocido como "alucinaciones". Los críticos señalaron la tendencia de Galactica a producir respuestas que, aunque plausibles, eran incorrectas, lo que sorprendió a muchos en la comunidad científica.

A pesar de la controversia, Yann LeCun, científico jefe de Meta, defendió a Galactica en redes sociales, afirmando: “Ya no es posible divertirse usando el modelo de manera inapropiada. ¿Feliz?” No obstante, el modelo no cumplió con las expectativas de transformar la IA generativa.

Dos semanas después, ChatGPT llegó al escenario. En la misma semana, surgieron rumores sobre el GPT-4, lo que generó esperanzas entre los investigadores de IA que asistían a la conferencia NeurIPS en Nueva Orleans. El 30 de noviembre, en lugar de GPT-4, OpenAI lanzó ChatGPT, marcando un momento crucial en el panorama de la IA.

ChatGPT igualmente enfrentó problemas de alucinaciones, generando respuestas seguras pero engañosas. OpenAI reconoció esta limitación en su blog de lanzamiento, indicando que abordarla era “un desafío”. A pesar de estas deficiencias, ChatGPT experimentó un crecimiento explosivo, alcanzando alrededor de 100 millones de usuarios mensuales en solo dos meses, y actualmente cuenta con 100 millones de usuarios semanales.

El legado de Galactica persiste, con Meta reconociendo las lecciones valiosas aprendidas. Joelle Pineau, vicepresidenta de investigación en IA de Meta, comentó: “Se aprendieron muchas lecciones positivas... Aún recibo muchas solicitudes de personas que quieren el modelo." Aclaró que Galactica siempre fue concebido como un proyecto de investigación, no como un producto. “La brecha entre la expectativa y la realidad fue demasiado grande,” observó Pineau, señalando que la tasa de alucinaciones del modelo era menor que la de otros debido a su enfoque en literatura científica.

Tras la controversia, Meta retiró la demostración de Galactica para evitar su mal uso, reconociendo la falta de una guía de uso responsable, una práctica que han adoptado para futuros lanzamientos. Pineau comentó que, si volvieran a lanzarlo, gestionarían mejor las expectativas del público. “Las lecciones de Galactica se han integrado en nuestra próxima generación de modelos.”

Esta nueva generación incluye Llama, el modelo de lenguaje de Meta que ganó atención significativa en febrero de 2023, seguido por el comercial Llama 2 en julio y Code Llama en agosto. Llama se convirtió en el primer LLM de código abierto y gratuito de gran relevancia, encendiendo un considerable debate en la comunidad de IA que continúa hasta hoy.

Cuando se lanzó Llama el 24 de febrero, Meta actuó con cautela. LeCun enfatizó: “Meta se compromete a la investigación abierta y libera todos los modelos a la comunidad de investigación bajo una licencia GPL v3.” Sin embargo, los investigadores debían completar un formulario para acceder a Llama, una precaución derivada de la reacción en torno a Galactica. LeCun explicó: “Después de Galactica, la gente nos acusó de amenazar el tejido de la sociedad.”