Meta Galactica: La autora habla sobre la desafiante experiencia de lanzamiento del modelo.

Hace un año, justo antes del lanzamiento de ChatGPT por OpenAI, Meta presentó su propio modelo de lenguaje grande: Galactica. Este modelo generó una gran controversia y fue retirado apenas días después de su debut. Ahora, uno de los autores originales ha compartido sus reflexiones sobre el tumultuoso recorrido del proyecto.

Ross Taylor, cofundador de la plataforma Papers with Code, que archiva documentos de investigación sobre aprendizaje automático, desempeñó un papel crucial en el desarrollo de Galactica, un modelo entrenado con literatura científica. Lamentablemente, la demostración del modelo enfrentó serios problemas, generando citas de trabajos inexistentes.

En una publicación sincera en X (anteriormente Twitter), Taylor reflexionó sobre los desafíos del equipo, admitiendo: "Estábamos sobrecargados y perdimos la conciencia situacional en el lanzamiento al publicar [una] demostración" sin controles de calidad suficientes. Reconoció que, aunque anticipaban críticas potenciales, la intensidad de su carga de trabajo nubló su enfoque.

A pesar de su sólido desempeño en comparación con modelos como PaLM de Google y Chinchilla de DeepMind, la demostración oscureció las capacidades de Galactica. Taylor explicó que la intención detrás de la demostración era evaluar consultas científicas realizadas a modelos de lenguaje grandes. Sin embargo, señaló: "Deberíamos haberlo sabido mejor", reconociendo que los periodistas a menudo probaban el modelo más allá de su alcance previsto.

Curiosamente, atribuyó parte de la reacción negativa a las percepciones de los usuarios, afirmando que muchos trataron a Galactica como un producto final, a pesar de que solo era una demostración de un modelo base. "Mostramos nuestra visión en el sitio, lo que desvió las expectativas", dijo. Expresó que, si bien la controversia podría haberse mitigado, los temores sobre Galactica generando "ciencia falsa" fueron exagerados.

En ese momento, figuras prominentes como Michael Black del Instituto Max Planck expresaron su preocupación, sugiriendo que Galactica podría dar lugar a una ola de fabricaciones científicas profundas. Grady Booch, un desarrollador clave del Lenguaje de Modelado Unificado, criticó el modelo como "poco más que un sinsentido estadístico a gran escala". En respuesta, Taylor calificó gran parte de la crítica como "realmente estúpida," afirmando que el proyecto podría haber tenido un lanzamiento más exitoso con una planificación cuidadosa.

Mirando hacia atrás, Taylor defendió la investigación e incluso la decisión de publicar una demostración, viéndola como un acto de transparencia de un actor importante en el campo. "Esta apertura sin precedentes fue errónea dado las vulnerabilidades que expuso", reconoció. El compromiso de Meta con un enfoque de código abierto ha llevado al desarrollo de LLaMA y su versión más avanzada, Llama 2, con ideas de Galactica que informaron estos modelos posteriores.

Para concluir, Taylor expresó su disposición a emprender el mismo proyecto nuevamente, señalando: "Es mejor hacer algo y arrepentirse que no hacer nada en absoluto." Enfatizó que, aunque la experiencia sigue siendo dolorosa, las lecciones aprendidas han sido invaluables.