Einblicke von Galactica: Was Meta aus dem zum Scheitern verurteilten Modell lernte, das nur zwei Wochen vor ChatGPT veröffentlicht wurde.

Vor einem Jahr, nur zwei Wochen vor der Einführung von ChatGPT durch OpenAI, stellte Meta Galactica vor—ein Open-Source-"großes Sprachmodell für Wissenschaft", das auf 48 Millionen wissenschaftlichen Arbeiten trainiert wurde. Meta behauptete, Galactica könne akademische Literatur zusammenfassen, Mathematikprobleme lösen, Wiki-Artikel generieren, wissenschaftlichen Code schreiben und Moleküle sowie Proteine annotieren.

Jedoch wurde Galactica am 17. November 2022 nach nur drei Tagen aufgrund öffentlicher Kritik wegen ungenauer und teils anstößiger Ergebnisse, einem Phänomen, das heute als "Halluzinationen" bekannt ist, aus dem Verkehr gezogen. Kritiker hoben die Neigung von Galactica hervor, plausible, aber faktisch falsche Antworten zu erzeugen, was viele in der Wissenschaftsgemeinschaft schockierte.

Trotz der Kontroversen verteidigte Metas Chefwissenschaftler Yann LeCun Galactica in sozialen Medien und erklärte: „Es ist nicht mehr möglich, damit einfach Spaß zu haben. Glücklich?“ Dennoch erfüllte das Modell nicht die Erwartungen an transformative generative KI.

Zwei Wochen später trat ChatGPT auf die Bildfläche. In derselben Woche tauchten Gerüchte über GPT-4 auf, die Hoffnung unter KI-Forschern auf dem NeurIPS-Kongress in New Orleans weckten. Am 30. November veröffentlichte OpenAI statt GPT-4 ChatGPT, was einen Wendepunkt in der Landschaft der Künstlichen Intelligenz markierte.

ChatGPT offenbarte schnell eigene Probleme mit Halluzinationen, indem es selbstbewusste, jedoch irreführende Antworten erzeugte. OpenAI räumte diese Einschränkung in ihrem Launch-Blog ein und meinte, dass es „anspruchsvoll“ sei, dieses Problem anzugehen. Trotz dieser Schwächen erlebte ChatGPT ein explosionsartiges Wachstum und erreichte in nur zwei Monaten schätzungsweise 100 Millionen monatliche Nutzer, mittlerweile sind es 100 Millionen wöchentliche Nutzer.

Das Erbe von Galactica lebt weiter, und Meta erkennt die wertvollen Lektionen, die gelernt wurden. Joelle Pineau, VP für KI-Forschung bei Meta, erklärte: „Es wurden viele gute Lektionen gelernt... Ich bekomme immer noch viele Anfragen von Leuten, die das Modell wollen.“ Sie stellte klar, dass Galactica immer als Forschungsprojekt und nicht als Produkt gedacht war. „Die Diskrepanz zwischen Erwartung und Realität war zu groß“, stellte Pineau fest und wies darauf hin, dass die Halluzinationsrate des Modells aufgrund des Fokus auf wissenschaftliche Literatur geringer war als die anderer Modelle.

Nach der negativen Resonanz zog Meta die Galactica-Demo zurück, um Missbrauch zu verhindern, und erkannte den Mangel an einem verantwortungsvollen Nutzungshinweis an—eine Praxis, die sie seitdem für zukünftige Veröffentlichungen übernommen haben. Pineau bemerkte, dass sie, wenn sie es noch einmal machen würden, die Erwartungen des Publikums besser managen würden. „Die Lektionen aus Galactica fließen in unsere nächste Generation von Modellen ein.“

Diese nächste Generation umfasst Llama, Metas großes Sprachmodell, das im Februar 2023 erhebliche Aufmerksamkeit erregte, gefolgt von dem kommerziellen Llama 2 im Juli und Code Llama im August. Llama wurde das erste große kostenlose Open-Source-LLM und entfachte eine umfangreiche Debatte innerhalb der KI-Community, die bis heute anhält.

Bei der Einführung von Llama am 24. Februar ging Meta vorsichtig vor. LeCun betonte: „Meta verpflichtet sich zu offener Forschung und veröffentlicht alle Modelle unter einer GPL v3-Lizenz für die Forschungsgemeinschaft.“ Forscher mussten jedoch ein Formular ausfüllen, um Zugang zu Llama zu erhalten, eine Vorsichtsmaßnahme aufgrund des Widerwarts gegenüber Galactica. LeCun erklärte: „Nach Galactica warfen uns die Menschen vor, die Gesellschaft zu gefährden.“