Das Verständnis der Nutzerintentionen durch Interaktionen mit der Benutzeroberfläche (UI) stellt eine erhebliche Herausforderung für die Entwicklung intuitiver und effektiver KI-Anwendungen dar. In einer aktuellen Studie haben Forscher von Apple UI-JEPA vorgestellt, eine innovative Architektur, die darauf abzielt, den Rechenaufwand für das Verständnis von UIs zu minimieren und gleichzeitig hohe Leistung zu bieten. UI-JEPA ermöglicht eine ressourcensparende, geräteinterne Verarbeitung von UI-Interaktionen und steigert so die Reaktionsfähigkeit und den Datenschutz von KI-Assistenten, was mit Apples Strategie zur Verbesserung der On-Device-KI-Fähigkeiten übereinstimmt.
Die Herausforderungen des UI-Verständnisses
Die Ableitung von Nutzerintentionen aus UI-Interaktionen erfordert die Analyse multimodaler Merkmale, einschließlich Bildern und natürlicher Sprache, um die zeitlichen Beziehungen innerhalb von UI-Sequenzen zu erfassen. Die Co-Autoren Yicheng Fu, Praktikant im Bereich Maschinenlernen bei Apple, und Raviteja Anantha, Principal ML Scientist bei Apple, betonen: „Obwohl Fortschritte bei multimodalen großen Sprachmodellen (MLLMs) wie Anthropic Claude 3.5 Sonnet und OpenAI GPT-4 Turbo Möglichkeiten zur Personalisierung bieten, erfordern diese Modelle erhebliche Rechenressourcen und verursachen hohe Latenzzeiten. Das macht sie ungeeignet für ressourcensparende Anwendungen, in denen geringe Latenz und Datenschutz entscheidend sind.“
Gleichzeitig sind bestehende leichte Modelle, die in der Lage sind, Nutzerintentionen zu analysieren, zu rechenintensiv für eine effiziente Ausführung auf Geräten.
Die JEPA-Architektur
UI-JEPA ist inspiriert von der Joint Embedding Predictive Architecture (JEPA), einer selbstüberwachten Lernmethode, die 2022 von Meta AI Chief Scientist Yann LeCun eingeführt wurde. JEPA konzentriert sich darauf, semantische Repräsentationen zu lernen, indem maskierte Abschnitte in Bildern oder Videos vorhergesagt werden, wobei der Fokus auf wichtigen Aspekten der Szenen liegt, anstatt jedes Detail zu rekonstruieren. Durch die drastische Reduzierung der dimensionalen Komplexität ermöglicht JEPA kleineren Modellen, reichhaltige Repräsentationen zu erlernen. Darüber hinaus kann der Algorithmus aufgrund seiner selbstüberwachten Natur mit großen Mengen unbeschrifteter Daten trainiert werden, wodurch teure manuelle Annotationen vermieden werden. Meta hat bereits I-JEPA und V-JEPA eingeführt, Anpassungen für Bilder und Videos.
„Im Gegensatz zu generativen Modellen, die versuchen, alle fehlenden Informationen zu ergänzen, verwirft JEPA ineffiziente Daten effizient“, erklären Fu und Anantha. „Das verbessert die Trainings- und Probeeffizienz in V-JEPA um das 1,5- bis 6-fache, was angesichts der Knappheit an qualitativ hochwertigen beschrifteten UI-Videos entscheidend ist.“
UI-JEPA: Eine neue Grenze
Auf den Stärken von JEPA aufbauend, passt UI-JEPA die Architektur für das UI-Verständnis an und integriert zwei Schlüsselkomponenten: einen Video-Transformator-Encoder und ein ausschließlich dekodierendes Sprachmodell. Der Video-Transformator-Encoder verarbeitet Videos von UI-Interaktionen und wandelt sie in abstrakte Merkmalsrepräsentationen um, während das Sprachmodell diese Video-Einbettungen nutzt, um textuelle Beschreibungen der Nutzerintention zu generieren. Mit Microsoft Phi-3, einem leichten Modell mit etwa 3 Milliarden Parametern, überzeugt UI-JEPA in geräteinternen Anwendungen.
Diese Synergie eines JEPA-basierten Encoders und eines leichten Sprachmodells ermöglicht es UI-JEPA, eine beeindruckende Leistung mit signifikant weniger Parametern und einem geringeren Ressourcenaufwand zu erreichen als führende MLLMs. Um die Forschung zum UI-Verständnis zu fördern, stellte das Team zwei multimodale Datensätze und Benchmarks vor: „Intent in the Wild“ (IIW) und „Intent in the Tame“ (IIT). IIW umfasst offene Sequenzen von UI-Aktionen mit mehrdeutiger Intention, während IIT sich auf klar definierte Aufgaben wie das Setzen von Erinnerungen konzentriert. „Wir glauben, dass diese Datensätze die Entwicklung leistungsfähigerer und kompakterer MLLMs sowie besserer Trainingsparadigmen fördern werden“, betonen die Forscher.
Bewertung von UI-JEPA
Die Leistungsbewertung von UI-JEPA im Vergleich zu anderen Video-Encodern und MLLMs wie GPT-4 Turbo und Claude 3.5 Sonnet ergab, dass UI-JEPA in Few-Shot-Szenarien sowohl in den IIT- als auch in den IIW-Datensätzen überlegen war. Es erzielte eine vergleichbare Leistung zu größeren geschlossenen Modellen, war jedoch mit nur 4,4 Milliarden Parametern deutlich leichter. Die Integration von Text über optische Zeichenerkennung (OCR) verbesserte die Effektivität weiter, obwohl UI-JEPA in Zero-Shot-Einstellungen Herausforderungen hatte.
Die Forscher sehen mehrere Anwendungsmöglichkeiten für UI-JEPA, darunter die Einrichtung automatisierter Feedbackschleifen für KI-Agenten, die ein kontinuierliches Lernen aus Nutzerinteraktionen ohne manuelle Eingaben ermöglichen. Diese Funktion könnte die Annotationskosten erheblich senken und gleichzeitig den Datenschutz der Nutzer wahren. „Wenn Agenten durch UI-JEPA mehr Daten sammeln, werden sie zunehmend besser in ihren Antworten“, stellen die Autoren fest. „Darüber hinaus verbessert die Fähigkeit von UI-JEPA, laufende On-Screen-Kontexte zu verarbeiten, die Eingaben für auf LLM basierende Planer und optimiert die Erstellung nuancierter Pläne für komplexe oder implizite Anfragen.“
Darüber hinaus könnte UI-JEPA in Rahmenbedingungen integriert werden, die die Nutzerintention über verschiedene Anwendungen und Modalitäten hinweg verfolgen. In dieser Rolle kann es als Wahrnehmungsagent fungieren, der relevante Nutzerintentionen abruft, um geeignete API-Aufrufe während der Interaktion mit digitalen Assistenten zu generieren. „UI-JEPA verbessert jede KI-Agentenarchitektur, indem es sich enger an den Nutzerpräferenzen ausrichtet und Aktionen basierend auf den On-Screen-Aktivitätsdaten vorhersagt“, erklären Fu und Anantha. „In Kombination mit zeitlichen und geografischen Daten kann es die Nutzerintention für eine Vielzahl von Anwendungen ableiten.“ UI-JEPA passt gut zu Apple Intelligence, einer Suite leichter generativer KI-Tools, die die intelligenten und produktiven Möglichkeiten von Apple-Geräten verbessert. Angesichts von Apples Engagement für den Datenschutz kann die Effizienz und der geringe Ressourcenbedarf von UI-JEPA einen erheblichen Vorteil gegenüber cloudabhängigen Modellen bieten.
Rangliste
