Die Auswirkungen der Größe auf große Sprachmodelle (LLMs)
Bei großen Sprachmodellen (LLMs) ist die Größe entscheidend, da sie bestimmt, wo ein Modell effektiv eingesetzt werden kann. Stability AI, bekannt für seine stabile Diffusionstechnologie zur Text-zu-Bild-Generierung, hat soeben eines seiner kleinsten Modelle vorgestellt: Stable LM 2 1.6B. Dieses Textinhaltsgenerierungsmodell debütierte erstmals im April 2023 mit einer 3-Milliarden- und einer 7-Milliarden-Parameter-Version. Das 1.6B-Modell ist die zweite Veröffentlichung des Unternehmens im Jahr 2024, nach der vorherigen Einführung von Stability AIs Stable Code 3B.
Vorstellung des kompakten Stable LM 2 Modells
Das neue Stable LM 2 1.6B wurde entwickelt, um Entwicklern den Zugang zu erleichtern und die Teilnahme am Generative AI-Ökosystem zu beschleunigen. Dieses kompakte, aber leistungsstarke Modell unterstützt die mehrsprachige Texterstellung in sieben Sprachen: Englisch, Spanisch, Deutsch, Italienisch, Französisch, Portugiesisch und Niederländisch. Es nutzt neueste Fortschritte in der algorithmischen Sprachmodellierung, um ein optimales Gleichgewicht zwischen Geschwindigkeit und Leistung zu erreichen.
Carlos Riquelme, Leiter des Sprachteams bei Stability AI, erklärte: „Im Allgemeinen erzielen größere Modelle, die mit ähnlichen Daten trainiert wurden, bessere Ergebnisse als kleinere. Allerdings sehen wir oft, dass kleinere Modelle, die mit verbesserten Algorithmen und qualitativ hochwertigen Daten trainiert werden, ihre älteren, größeren Pendants übertreffen.“
Warum kleinere Modelle größere Modelle übertreffen können
Laut Stability AI übertrifft Stable LM 2 1.6B viele kleine Sprachmodelle mit weniger als 2 Milliarden Parametern in verschiedenen Benchmarks, darunter Microsofts Phi-2 (2,7B), TinyLlama 1.1B und Falcon 1B. Bemerkenswert ist, dass es sogar größere Versionen wie Stability AIs eigenes erstes Stable LM 3B-Modell übertrifft.
„Stable LM 2 1.6B erzielt bessere Ergebnisse als einige größere Modelle, die vor nur wenigen Monaten trainiert wurden“, bemerkte Riquelme. „Ähnlich wie in der Computertechnologie sehen wir, dass Modelle im Laufe der Zeit kleiner, schlanker und besser werden.“
Anerkennung der Einschränkungen
Obwohl das kleinere Stable LM 2 1.6B beeindruckende Fähigkeiten aufweist, bringt seine Größe einige Einschränkungen mit sich. Stability AI warnt, dass „aufgrund der inhärenten Eigenschaften kleiner, leistungsarmer Sprachmodelle Stable LM 2 1.6B häufige Probleme wie höhere Halluzinationsraten oder potenziell toxische Sprache aufweisen kann.“
Transparenz und verbesserte Datenausbildung
Stability AI konzentriert sich seit mehreren Monaten auf kleinere, aber leistungsfähigere LLM-Optionen. Im Dezember 2023 wurde das Modell StableLM Zephyr 3B veröffentlicht, das die Leistung innerhalb eines kompakteren Rahmens als die erste Version verbessert.
Riquelme erklärte, dass die neuen Stable LM 2-Modelle mit mehr Daten arbeiten und mehrsprachige Dokumente in sechs Sprachen neben Englisch einbeziehen. Er betonte die Wichtigkeit der Reihenfolge, in der Daten während des Trainings präsentiert werden, und deutete an, dass unterschiedliche Datentypen in verschiedenen Trainingsphasen die Ergebnisse verbessern könnten.
Um die Entwicklung weiter zu erleichtern, veröffentlicht Stability AI diese Modelle sowohl in vortrainierten als auch in feinabgestimmten Formaten sowie mit einem, was Forscher als „den letzten Modell-Checkpoint vor der Vortraining-Abkühlphase“ bezeichnen.
„Unser Ziel ist es, Entwicklern Werkzeuge zur Verfügung zu stellen, damit sie innovativ mit unseren aktuellen Modellen arbeiten können“, sagte Riquelme. „Wir bieten ein spezifisches halb fertiges Modell für Experimente an.“
Er erläuterte den Trainingsprozess und erklärte, dass die Leistung des Modells mit der sequentiellen Aktualisierung steigt. Das anfängliche Modell hat kein Wissen, während nachfolgende Versionen Erkenntnisse aus den Daten sammeln. Riquelme wies jedoch auch darauf hin, dass Modelle gegen Ende des Trainings weniger flexibel werden können.
„Wir haben uns entschieden, das Modell in seiner fast-finalen Trainingsform anzubieten, um es den Nutzern zu erleichtern, es für verschiedene Aufgaben oder Datensätze zu spezialisieren. Während wir keinen Erfolg garantieren können, glauben wir an die Kreativität der Menschen bei der innovativen Nutzung neuer Werkzeuge.“
Rangliste
