Aperçus de Galactica : Ce que Meta a découvert avec le modèle voué à l'échec lancé seulement deux semaines avant ChatGPT.

Il y a un an, juste deux semaines avant le lancement de ChatGPT par OpenAI, Meta a présenté Galactica, un modèle de langage open-source pour la science, entraîné sur 48 millions de documents scientifiques. Meta affirmait que Galactica pouvait résumer la littérature académique, résoudre des problèmes mathématiques, générer des articles Wiki, écrire du code scientifique et annoter des molécules et des protéines.

Cependant, Galactica a été retiré après seulement trois jours, le 17 novembre 2022, en raison d'une réaction publique face à ses résultats inexacts et parfois offensants, un phénomène désormais connu sous le nom d’« hallucinations ». Les critiques ont souligné la tendance de Galactica à fournir des réponses plausibles mais factuellement incorrectes, ce qui a choqué de nombreux membres de la communauté scientifique.

Malgré la controverse, Yann LeCun, le scientifique en chef de Meta, a défendu Galactica sur les réseaux sociaux, affirmant : « Il n'est plus possible de s'amuser à l'utiliser de manière désinvolte. Content ? » Néanmoins, le modèle n’a pas répondu aux attentes en matière d'IA générative transformative.

Deux semaines plus tard, ChatGPT a fait son apparition. Au cours de cette même semaine, des rumeurs concernant GPT-4 ont circulé, suscitant l'espoir parmi les chercheurs en IA présents à la conférence NeurIPS à La Nouvelle-Orléans. Le 30 novembre, au lieu de GPT-4, OpenAI a lancé ChatGPT, marquant un tournant majeur dans le paysage de l'IA.

ChatGPT a rapidement révélé son propre problème d'hallucinations, générant des réponses sûres mais trompeuses. OpenAI a reconnu cette limitation dans leur blog de lancement, indiquant que sa résolution est « difficile ». Malgré ces lacunes, ChatGPT a connu une croissance explosive, atteignant environ 100 millions d'utilisateurs mensuels en seulement deux mois, et revendique maintenant 100 millions d'utilisateurs hebdomadaires.

L’héritage de Galactica perdure, avec Meta reconnaissant les leçons précieuses apprises. Joelle Pineau, vice-présidente de la recherche en IA chez Meta, a déclaré : « De nombreuses leçons utiles ont été tirées... Je reçois encore beaucoup de demandes de personnes souhaitant le modèle. » Elle a précisé que Galactica était toujours destiné à être un projet de recherche, et non un produit. « L'écart entre les attentes et la réalité était trop grand, » a observé Pineau, notant que le taux d'hallucinations du modèle était inférieur à celui d'autres modèles en raison de son focus sur la littérature scientifique.

Après le tollé, Meta a retiré la démo de Galactica pour éviter les abus, reconnaissant l'absence d'un guide d'utilisation responsable, une pratique qu'ils ont depuis adoptée pour les sorties futures. Pineau a noté que s'ils devaient recommencer, ils géreraient mieux les attentes du public. « Les leçons tirées de Galactica ont été intégrées dans notre prochaine génération de modèles. »

Cette nouvelle génération inclut Llama, le modèle de langage de Meta qui a attiré une attention considérable en février 2023, suivi de Llama 2 en juillet et de Code Llama en août. Llama est devenu le premier LLM open-source majeur gratuit, suscitant un débat important au sein de la communauté IA qui se poursuit aujourd'hui.

Lors du lancement de Llama le 24 février, Meta a fait preuve de prudence. LeCun a souligné : « Meta s'engage dans la recherche ouverte et met tous ses modèles à la disposition de la communauté de recherche sous une licence GPL v3. » Cependant, les chercheurs devaient remplir un formulaire pour accéder à Llama, une précaution découlant du backlash autour de Galactica. LeCun a expliqué : « Après Galactica, les gens nous accusaient de menacer le tissu de la société. »