Um die Vorteile von großen Sprachmodellen (LLMs) optimal zu nutzen, müssen Unternehmen diese mit branchenspezifischen Daten verfeinern. Dieser Prozess verbessert die Fähigkeit des Modells, relevante Ausgaben zu generieren.
Allerdings bringt das Feintuning vortrainierter Modelle eine kritische Herausforderung mit sich: Die Anpassung der Gewichte für verschiedene Datenverteilungen kann zu „katastrophalem Vergessen“ führen, bei dem das Modell zuvor erlerntes Wissen verliert. Diese Abwertung wirkt sich negativ auf die Leistung und die Denkfähigkeiten des LLM aus.
Das Voice-AI-Unternehmen Tenyx hat eine Lösung für das Feintuning vorgestellt, die darauf abzielt, dieses Problem zu bekämpfen. Ihre Plattform ermöglicht es Unternehmen, LLMs an ihre spezifischen Bedürfnisse anzupassen, ohne grundlegendes Wissen oder Sicherheitsmaßnahmen zu opfern.
„Katastrophales Vergessen ist ein langanhaltendes Problem in der Community des maschinellen Lernens“, sagte Itamar Arel, CEO und Gründer von Tenyx. „Traditionell ging man davon aus, dass Modelle kontinuierlich mit neuen Daten trainiert werden können, während sie alte Informationen behalten.“
Die Risiken des Feintunings
Arel betont, dass Feintuning zunehmend wichtig für unternehmerische Anwendungen von LLMs wird. Doch oft haben Datenwissenschaftler nicht vollständigen Zugriff auf die ursprünglichen Trainingsdatensätze, und traditionelle Feintuning-Methoden können den Vergessenseffekt nicht mindern. Dies kann zum Verlust wesentlicher Fähigkeiten führen und Organisationen schädlichen oder voreingenommenen Inhalten aussetzen.
Die Verwendung von LLaMA 7B als Kundenservice-Chatbot—eine gängige Standardanwendung—benötigt beispielsweise Feintuning mit typischen Kundengesprächen. Standardtechniken wie Low-Rank Adaptation (LoRA) können unbeabsichtigt zu einem Verlust wertvollen Wissens führen, etwa bei der präzisen Beantwortung der Frage: „Wie weit ist es vom Hotel zum Flughafen?“ oder beim Erkennen des Kontexts in Aussagen wie: „Ich komme am 7. Dezember für vier Nächte an.“
„Das feingetunete Modell kann in speziellen Aufgaben hervorragende Leistungen zeigen, könnte jedoch falsche oder voreingenommene Antworten zu allgemeinem Wissen und Denkfähigkeiten generieren“, merkte Arel an.
Einschränkungen der Low-Rank Adaptation
Obwohl LoRA wegen ihrer Recheneffizienz beliebt ist, erklärt Arel, dass sie nicht zur Bekämpfung des katastrophalen Vergessens konzipiert wurde. Wenn das Feintuning die Datenverteilung von der ursprünglichen abweicht, treten unvorhersehbare Verzerrungen auf.
„Unsere Ergebnisse zeigen, dass LoRA trotz ihrer Vorteile die gleichen Risiken des Wissens- und Denkverlusts mit sich bringt“, erklärte Arel. Die Komplexität des Modells erschwert zudem die Identifikation und Korrektur dieser Verzerrungen. Darüber hinaus können traditionelle Feintuning-Methoden die Sicherheitsprotokolle, die durch Reinforcement Learning mit menschlichem Feedback (RLHF) etabliert wurden, schwächen, was entscheidend ist, um voreingenommene Ausgaben zu verhindern.
„RLHF ist ebenfalls ein Trainingsprozess und wird daher während des Feintunings beeinflusst“, betonte Arel.
Ineffizienzen aktueller Minderungsstrategien
Derzeit versuchen Unternehmen, katastrophales Vergessen zu managen, indem sie sich auf zahlreiche Maschinenlern-Ingenieure stützen, um Feintuning zu begrenzen und Prompt-Engineering für optimale Ergebnisse zu nutzen. Diese Vorgehensweise ist jedoch inkonsistent, kostspielig und fehlt an einem klaren Verständnis, wann und warum sie funktioniert. Zudem kompliziert die Evaluierung von Wissen und Denken während des Feintunings, oft durch manuelles Eingreifen, den Prozess ohne Automatisierungsmöglichkeiten.
Tenyx’ Ansatz zum Feintuning
Die innovative Feintuning-Methode von Tenyx identifiziert, welche Modellparameter aktualisiert werden können, um aus neuen Daten zu lernen, während die meisten bisherigen Eingabe-Ausgabe-Zuweisungen erhalten bleiben. Ihre Plattform sorgt dafür, dass Aktualisierungen während des Feintunings die Fähigkeit des Modells, ursprüngliche Daten zu verarbeiten, nicht stören.
„Durch die Analyse eines trainierten LLM bestimmt unsere Methode die optimalen Gewichte für Aktualisierungen, sodass neues Wissen erlernt werden kann, während katastrophales Vergessen minimiert wird“, erklärte Arel. Tenyx’ Ansatz nutzt eine neuartige mathematische Interpretation der geometrischen Darstellungen, die während des anfänglichen LLM-Trainings formuliert wurden, und behält effektiv zuvor erlernte Informationen bei, während er Änderungen ermöglicht.
Wichtig ist, dass Tenyx’ Methode die RLHF-Schutzmaßnahmen bewahrt und mit regulatorischen Richtlinien, einschließlich der Exekutivverordnung des Weißen Hauses zu sicherem, geschütztem und vertrauenswürdigem KI, übereinstimmt.
Ergebnisse von Tenyx’ Feintuning-Methode
In einer Pilotstudie, die sowohl beliebte Unternehmens- als auch Open-Source-Feintuning-Algorithmen bewertete, zeigte Tenyx bemerkenswerte Vorteile in Bezug auf Sicherheit, Effizienz und Wissenserhalt:
- Sicherheit: Tenyx erzielte eine Risikominderung um 11 %, besser als OpenAI (-66 %), Together AI (-94 %) und LoRA (-91 %).
- Effizienz: Während OpenAI’s GPT 3.5 Turbo anfangs aufgrund seiner Parameter überlegene Effizienz zeigte, übertraf Tenyx’ Llama-2 7B nach dem Feintuning.
- Wissen: Tenyx verzeichnete nur einen 3-%-Verlust durch katastrophales Vergessen, im Vergleich zu OpenAI’s 10 %, Together AI’s 40 % und LoRA’s 43 %.
„Katastrophales Vergessen bleibt ein anerkanntes Hindernis im Deep Learning, das selbst die fortschrittlichsten Modelle beeinträchtigt“, bemerkte Noah Goodman, außerordentlicher Professor an der Stanford University. „Wenn Modelle auf neuen branchenspezifischen Daten feingetunt werden, verbessern sie typischerweise die Leistung in diesem Bereich, gehen jedoch das Risiko ein, bestehende Fähigkeiten zu verändern.“
Goodman fügte hinzu: „Tenyx hat ein starkes Forschungsteam, das innovative Lösungen erkundet, um diese komplexe Herausforderung anzugehen.“
Rangliste
