Das Allen Institute for AI (AI2), eine gemeinnützige Organisation, die 2014 vom verstorbenen Microsoft-Mitgründer Paul Allen gegründet wurde, hat OLMo vorgestellt – ein Open-Source-Großsprachemodell (LLM), das als „wirklich Open Source“ und als „modernste“ Alternative zu restriktiven, geschlossenen Modellen beschrieben wird. Diese Initiative stellt einen bedeutenden Wandel in der Landschaft der KI-Entwicklung dar.
Im Gegensatz zu anderen Modellen, die lediglich Code und Gewichte teilen, bietet OLMo umfassende Ressourcen, einschließlich Trainingscode, Trainingsdaten und zugehörige Werkzeugkästen sowie Evaluierungstools. Alle OLMo-Komponenten, einschließlich Code, Gewichte und Zwischenprüfungen, sind unter einer Open Source Initiative genehmigten Lizenz verfügbar, konkret unter der Apache 2.0 Lizenz.
Die Ankündigung erfolgt zu einem kritischen Zeitpunkt, an dem Open-Source-KI rasant voranschreitet und versucht, mit proprietären Modellen wie OpenAIs GPT-4 und Anthropic's Claude gleichzuziehen. So hatte der CEO des in Paris ansässigen Startups Mistral kürzlich die Entwicklung eines neuen Open-Source-KI-Modells bestätigt, das sich der Leistung von GPT-4 nähert. Zudem hat Meta eine verbesserte Version seines Code-Generierungsmodells, Code Llama 70B, veröffentlicht, während die Vorfreude auf die kommende Llama LLM-Iteration wächst.
Allerdings sieht sich der Bereich der Open-Source-KI Kritik von einigen Forschern, Regulierern und politischen Entscheidungsträgern gegenüber. Ein besonders umstrittener Kommentar in IEEE Spectrum behauptete, dass „Open-Source-KI einzigartig gefährlich sei.“
Der OLMo-Rahmen fördert einen „vollständig offenen“ Ansatz, der vollen Zugang zu Pretraining-Daten, Trainingscode, Modellgewichten und Evaluierungsprozessen bietet. Dazu gehören Inferenzcode, Trainingsmetriken, Trainingsprotokolle und eine Entwicklungsevaluierungssuite mit über 500 Prüfungen pro Modell, die im Rahmen des Catwalk-Projekts während des Trainingsprozesses verfolgt werden.
Die Forscher von AI2 planen, OLMo kontinuierlich zu verbessern, indem sie verschiedene Modellgrößen, Modalitäten, Datensätze und Fähigkeiten einführen. „Viele Sprachmodelle von heute sind nicht transparent“, erklärte Hanna Hajishirzi, Projektleiterin und Senior Director der NLP-Forschung bei AI2. „Forscher können das Funktionieren eines Modells nicht vollständig verstehen, ohne Zugang zu den Trainingsdaten zu haben. Unser Rahmen gibt Forschern die Möglichkeit, LLMs wissenschaftlich zu untersuchen, was für die Entwicklung sicherer und vertrauenswürdiger KI unerlässlich ist.“
Nathan Lambert, ML-Wissenschaftler bei AI2, betonte, dass OLMo einen neuen Paradigmenwechsel bei LLMs darstellt. „OLMo ermöglicht neue Ansätze in der ML-Forschung und -Bereitstellung und fördert die wissenschaftliche Entwicklung in allen Phasen des Prozesses“, sagte er.
Die Open-Source-KI-Community hat begeistert auf die Veröffentlichung von OLMo reagiert. Jonathan Frankle, Chief Scientist bei MosaicML und Databricks, bezeichnete es als „einen riesigen Schritt für die Open Science.“ Der CTO von Hugging Face merkte ebenfalls in sozialen Medien an, dass das Modell „die Grenzen der Open-Source-KI verschiebt.“
Metas Chief Scientist Yann LeCun hob in der Pressemitteilung von AI2 hervor, dass „offene Grundmodelle Innovationen in der generativen KI vorantreiben und eine lebendige Open-Source-Community entscheidend dafür ist, die Zukunft der KI zu gestalten.“
Rangliste
