Kann ein haariger Camelide den Titel der größten KI-Geschichte 2023 für sich beanspruchen? Wenn wir von Llama sprechen, dem großen Sprachmodell von Meta, das im Februar die KI-Forschung revolutionierte, gefolgt von der kommerziellen Version Llama 2 im Juli und Code Llama im August, würde ich sagen: Ja.
Ich kann schon jetzt den Gegenwind hören. „Was? ChatGPT ist eindeutig die größte KI-Geschichte 2023!“ höre ich die Menge rufen. „OpenAI’s ChatGPT wurde am 30. November 2022 lanciert und erreichte bis Februar 100 Millionen Nutzer! Es brachte generative KI in die Popkultur!“
Aber hören Sie mir zu. Meiner Meinung nach ist ChatGPT in der Tat ein Wendepunkt in der generativen KI. Wie Forrester-Analyst Rowan Curran bemerkte, war es „der Funke, der das Feuer rund um generative KI entfacht hat.“
Der Februar markierte jedoch einen entscheidenden Moment, als Meta Llama veröffentlichte, das erste bedeutende kostenlose 'Open Source' Large Language Model (LLM), was eine hitzige Debatte über Open-Source-KI ins Leben rief, die bis zum Jahresende anhielt. Während andere Tech-Giganten, LLM-Unternehmen und Entscheidungsträger die Sicherheit und den Schutz von KI-Modellen mit Open-Source-Zugriff hinterfragten – verbunden mit teuren Rechenherausforderungen – gewann die Open-Source-KI erheblich an Bedeutung.
Laut Meta hat die Open-Source-KI-Community seit der Veröffentlichung von Llama über 7.000 Ableger auf der Plattform Hugging Face erstellt, was zu bemerkenswerten Modellen wie Koala, Vicuna, Alpaca, Dolly und RedPajama führte. Obwohl es auch andere Open-Source-Modelle wie Mistral, Hugging Face und Falcon gibt, war Llama das erste Modell, das durch die Daten und Ressourcen eines großen Tech-Unternehmens unterstützt wurde.
Man könnte ChatGPT als den Blockbuster des Jahres 2023, Barbie, betrachten, während Llama und seine Open-Source-Gegenstücke einem erweiterten Marvel-Universum ähneln, das mit Spin-offs gefüllt ist, die einen bleibenden Einfluss auf die KI-Landschaft versprechen.
Dieser Trend wird zu „mehr realen, wirkungsvollen generativen KI-Anwendungen führen, die die Open-Source-Grundlagen des Feldes weiter festigen“, sagte Kjell Carlsson, Leiter der Datenwissenschaftsstrategie und -evangelisation bei Domino Data Lab.
Langfristige Auswirkungen von Open Source KI
Das Zeitalter geschlossener, proprietärer Modelle wurde durch ChatGPT eingeleitet. OpenAI, 2015 als offene Forschungsinitiative gegründet, änderte 2023 seine Haltung. Ilya Sutskever, Mitbegründer von OpenAI, gestand gegenüber The Verge ein, dass das Teilen von Forschung ein Fehltritt war, motiviert durch Wettbewerbs- und Sicherheitsbedenken.
Im Gegensatz dazu befürwortete Meta’s Chief AI Scientist Yann LeCun die kommerzielle Freigabe von Llama 2 und betonte, dass große Sprachmodelle entscheidende Infrastrukturen sind, die offen bleiben müssen. Carlsson erkannte an, dass der Vergleich von ChatGPT und Llama wie der Vergleich von Äpfeln mit Birnen ist, da Llama 2 durch seine Open-Source-Natur und kommerzielle Lizenzierung revolutionär ist, die Feinabstimmung und den Betrieb vor Ort ermöglicht.
Während er ChatGPT als entscheidend für das öffentliche Bewusstsein um LLMs anerkannte, argumentierte er, dass die zugrunde liegenden Modelle, GPT 3.5 und 4, in ihrem Umfang begrenzt sind und hauptsächlich für den Proof of Concept verwendet werden sollten.
Matt Shumer, CEO von Otherside AI, bemerkte, dass Llamas Einfluss wahrscheinlich auf den Grundlagen beruht, die ChatGPT gelegt hat. Er erklärte: „Es gibt Hunderte von Unternehmen, die im letzten Jahr gegründet wurden und ohne Llama und die nachfolgenden Entwicklungen nicht möglich gewesen wären.“
Der ehemalige Neeva-CEO Sridhar Ramaswamy lobte Llama 2 als das erste wirklich fähige Open-Source-KI-Modell und verglich es mit dem potenziellen Cloud-Modell, in dem einige Unternehmen die KI-Fähigkeiten monopolisierten. Stattdessen machte Meta Llama zugänglich.
Der frühe Llama-Leak und seine Folgen
Llama, das im Februar gestartet wurde, fiel durch seine variierenden Modellgrößen auf, von 7 Milliarden bis 65 Milliarden Parametern. Das 13B-Modell von Llama übertraf in vielen NLP-Benchmarks die Leistung von GPT-3, und sein größtes Modell rivalisierte mit Top-Modellen wie PaLM und Chinchilla. Zunächst stellte Meta Modellgewichte selektierten Akademikern und Forschern zur Verfügung, darunter Stanford für sein Alpaca-Projekt.
Nach einem Leak auf 4chan erlangten Entwickler weltweit Zugriff auf ein GPT-Niveau LLM, was zu einem Anstieg von Ablegern führte. Im Juli stellte Meta Llama 2 kostenlos für kommerzielle Nutzung zur Verfügung, wobei Microsoft es in seinen Azure-Cloud-Service integrierte.
Dies war ein entscheidender Moment, als die Diskussionen über eine KI-Regulierung zunahmen. Im Juni äußerten US-Senatoren Bedenken hinsichtlich des Llama-Leaks und hoben das potenzielle Missbrauchsrisiko in verschiedenen schädlichen Aktivitäten hervor.
Trotz dieser Herausforderungen bekräftigte Meta sein Engagement für Open-Source-KI. In einem Treffen im Juni betonte Mark Zuckerberg die Integration generativer KI in alle Meta-Produkte und bekräftigte das Engagement des Unternehmens für einen "wissenschaftlich offenen Ansatz" in der KI-Forschung.
Meta: Champion der offenen Forschung
Meta hat sich konsequent für offene Forschung eingesetzt, insbesondere durch die Förderung eines Ökosystems rund um das PyTorch-Framework. 2023 wird Meta das zehnjährige Bestehen der Fundamental AI Research (FAIR)-Initiative feiern, die darauf abzielt, KI durch offene Forschung zum Gemeinwohl voranzutreiben.
Joelle Pineau, VP der KI-Forschung bei Meta, trat 2017 der Organisation bei, weil sie sich für offene Wissenschaft engagierte, was sie als Teil von Metas Kernwerten empfindet. „Der Grund, warum ich ohne nach Alternativen zu suchen beigetreten bin, ist das Engagement für offene Wissenschaft“, reflektierte sie.
Pineau erklärte jedoch, dass sich die Motivation hinter offener Forschung gewandelt hat. Während zu Beginn die Verbesserung der Forschungsqualität im Vordergrund stand, haben jüngste Entwicklungen die Produktivität des KI-Ökosystems erheblich gesteigert und zahlreiche Start-ups mit alternativen Modellen gestärkt.
Dennoch warnte sie, dass Meta keine konstanten offenen Veröffentlichungen garantiert; jedes Projekt durchläuft eine sorgfältige Risiko-Nutzen-Analyse.
Überlegungen zu Llama: Präzision vor Perfektion
Angela Fan, eine Forschungswissenschaftlerin von Meta FAIR, die an Llama und dessen Nachfolgern mitwirkte, betonte die sorgfältige Grundlage, die in die Erstellung der Llama-Modelle einfloss. „Obwohl die Technologie sich noch entwickelt, können wir interessante Tools schaffen und eine konsistente Integration in unseren Apps entwickeln“, erklärte sie.
Meta sucht kontinuierlich Feedback von seiner Entwicklergemeinschaft und von Start-ups, die Llama für verschiedene Anwendungen nutzen, um zukünftige Iterationen zu verfeinern.
Fan hob die Bedeutung von Genauigkeit und sorgfältiger Vorbereitung in der Entwicklung von Llama hervor. Es geht nicht nur um große Durchbrüche; es geht darum, zahlreiche kleinere Aufgaben über die Zeit effektiv auszuführen.
Einsatz für Open Source KI
Vipul Ved Prakash, Mitbegründer von Together – einem Start-up, das für die Erstellung des RedPajama-Datensatzes anerkannt ist – stimmte der Überzeugung zu, dass Llama und Open-Source-KI die Game Changer des Jahres 2023 sind. Durch die Entwicklung hochwertiger Modelle innerhalb eines großen Netzwerks von Unternehmen und Organisationen werden die Kosten effizient verteilt, was den Start-ups hilft, die Ausgaben für den Modellaufbau zu minimieren.
Allerdings, während Regulierungsbehörden beginnen, Open-Source-KI zu überprüfen, betonen Befürworter die Notwendigkeit, den Zugang zu diesen Modellen zu schützen. Auf einem kürzlichen Safety Summit im Vereinigten Königreich standen Bedenken bezüglich der Risiken fortschrittlicher KI-Systeme im Vordergrund.
Trotz dieser Bedenken gab eine Koalition von Befürwortern der Open-Source-KI, darunter LeCun und Andrew Ng, Mitbegründer von Google Brain, eine Erklärung ab, dass offene KI „ein Gegenmittel, nicht ein Gift“ ist.
Laufende Debatte: Llama vs. ChatGPT
Die Debatte über Llama versus ChatGPT entfacht weiterhin Diskussionen unter Experten. Während einige fest davon überzeugt sind, dass ChatGPT die dominierende Geschichte des Jahres bleibt, sehen andere Llamas Einfluss als Vorbote transformative Veränderungen in der KI.
Nikolaos Vasiloglou, VP für ML-Forschung bei RelationalAI, bestand darauf: „Das steht außer Frage, ChatGPT ist ein Game Changer“, dank seiner Ingenieurs- und Betriebseffizienz. John Lyotier, CEO von TravelAI, unterstützte dieses Gefühl und hob die Rolle von ChatGPT bei der Zugänglichmachung von KI für alltägliche Nutzer hervor.
Im Gegensatz dazu bemerkte Ben James, CEO von Atlas, dass Llama die Forschung und Innovation in einer Weise neu belebt hat, wie es ChatGPT nicht tat, und deutete auf langfristige Auswirkungen hin.
Letztendlich haben beide Modelle erheblich zur KI-Landschaft beigetragen. Während ChatGPT das öffentliche Interesse an generativer KI entfachte, steht Llama bereit, ihren zukünftigen Einfluss zu gestalten. Wie Curran erklärte, hätte das Phänomen der generativen KI im Jahr 2023 ohne ChatGPT nicht stattgefunden, doch der Antrieb für innovative Anwendungen wird maßgeblich von der Open-Source-Gemeinschaft geprägt.
Auf lange Sicht werden sowohl proprietäre als auch Open-Source-Modelle koexistieren. Ohne Open-Source-Modelle wie Llama 2 – die von Unternehmensentwicklern weit verbreitet angenommen werden – wäre die generative KI-Landschaft erheblich weniger fortgeschritten und zu stark spezialisiert. Die Open-Source-Gemeinschaft spielt eine entscheidende Rolle bei der Förderung bedeutender langfristiger Fortschritte in diesem spannenden Bereich.
Rangliste
