Apple stellt OpenELM vor: Kompakte Open-Source-KI-Modelle, optimiert für die Leistung auf Endgeräten

Während Technologie-Giganten wie Google, Samsung und Microsoft ihre generativen KI-Fähigkeiten auf PCs und mobilen Geräten ausbauen, betritt Apple mit OpenELM die Bühne: eine neue Suite von Open-Source-großen Sprachmodellen (LLMs), die vollständig auf eigenständigen Geräten ohne Cloud-Verbindung betrieben werden können.

Kürzlich auf der KI-Entwicklercommunity Hugging Face gestartet, umfasst OpenELM kleine Modelle, die für effiziente Textgenerierungsaufgaben optimiert sind.

Übersicht über OpenELM

Die OpenELM-Familie besteht aus acht Modellen – vier vortrainierte und vier auf Anweisungen optimierte – mit Größen von 270 Millionen bis 3 Milliarden Parametern. Diese Parameter stehen für die Verbindungen zwischen künstlichen Neuronen in einem LLM; eine höhere Anzahl deutet in der Regel auf eine verbesserte Leistung hin.

Das Vortraining ermöglicht es dem Modell, kohärente Texte zu generieren, konzentriert sich jedoch hauptsächlich darauf, Texte basierend auf Vorgaben vorherzusagen. Im Gegensatz dazu hilft die Feinabstimmung des Modells, relevantere und spezifischere Antworten zu liefern. Beispielsweise könnte ein vortrainiertes Modell auf die Anfrage „Lehre mich, wie man Brot backt“ unzureichend mit „in einem Haushaltsofen“ antworten, während ein optimiertes Modell umfassende Schritte bereitstellen würde.

Apple stellt die Gewichte seiner OpenELM-Modelle unter einer „Beispielcode-Lizenz“ zur Verfügung, die kommerzielle Nutzung und Modifikation erlaubt, sofern bei nicht modifizierten Weiterverbreitungen die begleitenden Hinweise und Disclaimern beibehalten werden. Apple warnt jedoch die Nutzer, dass diese Modelle möglicherweise ungenaue, schädliche, voreingenommene oder anstößige Ausgaben produzieren könnten.

Diese Veröffentlichung markiert einen signifikanten Wandel für Apple, das traditionell für seine Geheimhaltung und geschlossenen Technologiekosysteme bekannt ist. Zuvor brachte das Unternehmen Ferret, ein Open-Source-Sprachmodell mit multimodalen Fähigkeiten, auf den Markt und unterstrich damit sein Engagement für die Open-Source-KI-Community.

Hauptmerkmale von OpenELM

OpenELM, was für Open-source Efficient Language Models steht, zielt auf Anwendungen auf Geräten ab und folgt damit den Strategien von Wettbewerbern wie Google, Samsung und Microsoft. So arbeitet beispielsweise Microsofts neues Phi-3 Mini-Modell vollständig auf Smartphones und zeigt den Trend zu tragbaren KI-Lösungen.

Die Entwicklung von OpenELM wurde von Sachin Mehta geleitet, mit bedeutenden Beiträgen von Mohammad Rastegari und Peter Zatloukal. Die Modelle kommen in vier Größen: 270 Millionen, 450 Millionen, 1,1 Milliarden und 3 Milliarden Parametern – alle kleiner als viele führende Modelle, die typischerweise mehr als 7 Milliarden Parameter aufweisen. Sie wurden auf einem riesigen Datensatz von 1,8 Billionen Tokens trainiert, die von Plattformen wie Reddit, Wikipedia und arXiv.org stammen und somit ein breites Spektrum an Sprachverständnis garantieren.

Leistungsinsights

Die Leistungsbenchmarks von OpenELM zeigen insgesamt solide Ergebnisse, insbesondere von der 450 Millionen-Parameter-Anweisungsvariante. Besonders das 1,1 Milliarden OpenELM-Modell übertrifft OLMo, ein kürzlich veröffentlichtes Modell des Allen Institute for AI, und zeigt dabei eine höhere Effektivität bei signifikant weniger Tokens für das Vortraining.

Bei verschiedenen Benchmarks hat das vortrainierte OpenELM-3B folgende Genauigkeiten erreicht:

- ARC-C: 42,24 %

- MMLU: 26,76 %

- HellaSwag: 73,28 %

Erste Nutzerfeedbacks deuten darauf hin, dass OpenELM zuverlässige und abgestimmte Ausgaben produziert, ihm jedoch die Kreativität fehlt und es weniger geneigt ist, unkonventionelle oder NSFW-Themen zu erkunden. Im Vergleich dazu dominiert Microsofts Phi-3 Mini mit seiner höheren Parameteranzahl und Kontextlänge in den Leistungskennzahlen.

Fazit

Da die OpenELM-Modelle getestet und weiter verfeinert werden, versprechen sie, die Anwendungen für KI auf Geräten zu verbessern. Es wird spannend sein zu beobachten, wie die Community diese Open-Source-Initiative nutzt, insbesondere angesichts der Begeisterung über Apples Engagement für Transparenz und Zusammenarbeit im KI-Bereich.