Alles, was Sie über Apples KI-Technologie auf Geräten wissen müssen

Nach der Microsoft Build und Google I/O sah sich Apple bei der Worldwide Developers Conference 2024 hohen Erwartungen gegenüber, seine On-Device-AI-Fähigkeiten zu präsentieren. Apple integrierte generative KI effektiv in das Nutzererlebnis seiner Geräte und demonstrierte beeindruckende Fortschritte in diesem Bereich.

Ein herausragendes Merkmal von Apples Präsentationen war die umfassende On-Device-Verarbeitung. Durch den Einsatz fortschrittlicher Prozessoren und umfangreicher offener Forschung bot Apple hochwertige, latenzarme KI-Funktionalitäten auf seinen Smartphones und Computern an. Hier sind die wichtigsten Erkenntnisse über Apples On-Device-KI:

Überblick über Apples Modell

In der Präsentation zur Apple State of the Union und einem Blogbeitrag vom 10. Juni wurde bekannt, dass Apple ein Modell mit 3 Milliarden Parametern verwendet. Obwohl Apple das spezifische Basis-Modell nicht verriet, wurden kürzlich mehrere offene Modelle eingeführt, darunter die OpenELM-Familie von Sprachmodellen, die eine für ressourcenbeschränkte Geräte optimierte Version mit 3 Milliarden Parametern umfasst.

OpenELM wurde modifiziert, um die Modellqualität zu verbessern, ohne die Parameterzahl zu erhöhen. Das deutet darauf hin, dass Apples Grundmodell eine spezialisierte Variante von OpenELM-3B sein könnte. Dieses Modell wurde mit 1,8 Billionen Tokens aus offenen Datensätzen trainiert, einschließlich lizenziertem und öffentlich zugänglichem Material, das von AppleBot gesammelt wurde.

Partnerschaften für lizenzierte Daten

Apple hat Partnerschaften für lizenzierte Daten etabliert, darunter ein Vertrag im Wert von 25 bis 50 Millionen Dollar mit Shutterstock für Bilder und eine potenzielle Vereinbarung über 50 Millionen Dollar mit großen Nachrichten- und Verlagsorganisationen.

Trainings- und Optimierungstechniken

Das Modell wurde durch Reinforcement Learning aus menschlichem Feedback (RLHF) und einen Feineinstellungsalgorithmus mit einer Lehrerkommission optimiert, um Anweisungen effektiv zu folgen. RLHF nutzt von Menschen annotierte Daten, um Sprachmodelle basierend auf Benutzerpräferenzen zu verfeinern. Sampling-Methoden generieren mehrere Trainingsbeispiele und wählen das beste Ergebnis für Modellaktualisierungen aus, ähnlich der Technik, die auch vom Llama-2-Team genutzt wird.

Technische Optimierungen

Apple setzte verschiedene Techniken ein, um die Modellleistung bei gleichzeitiger Ressourcenschonung zu verbessern. Das Grundmodell verwendet „grouped query attention“ (GQA), entwickelt von Google Research, um die Inferenzgeschwindigkeit mit minimalem Speicher- und Rechenaufwand zu steigern. Darüber hinaus nutzt das Modell „Palletization“, um Gewichte mit Hilfe von Look-up-Tabellen zu komprimieren, sowie Quantisierung, die die Anzahl der Bits pro Parameter reduziert.

Die Modelle sind für Geräte mit M1-Chips und späteren Modellen sowie für das iPhone 15 Pro und Pro Max mit dem A17 Pro Chip optimiert. Dies deutet darauf hin, dass Optimierungstechniken speziell für Apple-Chips eingesetzt werden, wie das im letzten Jahr eingeführte große Sprachmodell (LLM) im Flash-Speicher.

Leistungskennzahlen

Berichten zufolge zeigt das iPhone 15 Pro eine Latenzzeit von etwa 0,6 Millisekunden pro Eingabe-Token, mit einer Generierungsrate von 30 Tokens pro Sekunde. Zum Beispiel würde eine Eingabe von 1.000 Tokens eine Antwort innerhalb von 0,6 Sekunden liefern und danach mit 30 Tokens pro Sekunde generiert werden – was beeindruckende Leistungen demonstriert.

Anpassung mit Low-Rank-Adaption

Um die Funktionalität zu erweitern, ohne das Modell zu duplizieren, entwickelten Apple-Ingenieure angepasste Versionen mittels Low-Rank-Adaption (LoRA)-Adaptern. LoRA aktualisiert einen kleinen Teil der Gewichte für spezifische Aufgaben, während die Adapter – jeder unter 100 Megabyte – es den Geräten ermöglichen, mehrere Optionen für verschiedene Funktionen wie Korrekturlesen, Zusammenfassungen und E-Mail-Antworten zu speichern.

Leistungsbewertung

Laut Apples Bewertungen übertrifft sein Modell im Allgemeinen ähnlich große und sogar größere Modelle wie Gemma-2B, Mistral-7B und Phi-3B-Mini.

Zusammengefasst zeigt Apples On-Device-KI das Potenzial, kompakte Modelle mit effektiven Optimierungstechniken, hochwertigen Daten und robustem Hardware zu kombinieren. Das Unternehmen hat erhebliche Fortschritte gemacht, um Genauigkeit mit Benutzererlebnis in Einklang zu bringen. Es wird spannend sein zu sehen, wie diese Technologie in der Verbraucherumsetzung im Herbst abschneidet.