Apple startet Open-Source-AI-Modell für die Ausführung auf Geräten

Apple hat heute eine Reihe von Open-Source-Modellen für große Sprachmodelle (LLMs) veröffentlicht, die auf Geräten betrieben werden können, anstatt auf Cloud-Server angewiesen zu sein. Mit dem Namen OpenELM (Open Efficient Language Models) sind diese Modelle jetzt im Hugging Face Hub verfügbar und schaffen eine Plattform für den Austausch von KI-Code.

OpenELM umfasst acht Modelle, von denen vier mit der CoreNet-Bibliothek vortrainiert und vier durch gezielte Anpassungen feinjustiert wurden. Apple hat eine hierarchische Skalierungsstrategie implementiert, die Parameter effizient über jede Schicht des Transformer-Modells verteilt und so sowohl die Genauigkeit als auch die Effizienz verbessert. Beispielsweise erreicht OpenELM mit einem Parameterbudget von rund einer Milliarde eine Verbesserung der Genauigkeit um 2,36 % im Vergleich zu OLMo, während die Nachfrage nach Pre-Training-Token um die Hälfte reduziert wird.

Im Gegensatz zu früheren Veröffentlichungen, die lediglich Modellgewichte und Inferenz-Code zur Verfügung stellten, umfasst dieser Launch ein umfassendes Framework zur Ausbildung und Evaluierung von Sprachmodellen auf öffentlichen Datensätzen. Dazu gehören Trainingsprotokolle, mehrere Checkpoints und Pre-Training-Konfigurationen. Apple zielt darauf ab, mit dieser Initiative die Fortschritte im Bereich der natürlichen Sprach-KI zu beschleunigen und "zuverlässigere Ergebnisse" zu liefern.

Die Veröffentlichung dieser offenen Modelle soll die offene Forschungsgemeinschaft "ermächtigen und bereichern", indem sie Forschern ermöglicht wird, die Risiken, die Datennutzung und Vorurteile der Modelle gründlich zu untersuchen. Entwickler und Unternehmen werden ermutigt, diese Modelle direkt zu nutzen oder anzupassen, um ihren spezifischen Bedürfnissen gerecht zu werden.

Durch die öffentliche Freigabe dieser Informationen bekennt sich Apple dazu, führende Ingenieure, Wissenschaftler und Experten anzuziehen, um die Forschung in relevanten Bereichen voranzutreiben, trotz der Herausforderungen, die das Veröffentlichen unter Apples Vertraulichkeitsrichtlinien mit sich bringt. Obwohl die KI-Funktionen bisher noch nicht in Apples Geräte integriert sind, wird erwartet, dass iOS 18 eine Reihe neuer KI-Funktionen einführt, mit Hinweise darauf, dass Apple plant, seine großen Sprachmodelle auf den Geräten für verbesserte Datenschutz zu betreiben.