Stability AI startet 'Smol'-Modell: Vorstellung von StableLM Zephyr 3B

Stability AI hat sich vor allem durch ihre innovative Suite von Text-zu-Bild-generierenden KI-Modellen einen Namen gemacht, doch das Unternehmen erweitert nun sein Angebot.

Heute stellte Stability AI den neuesten Fortschritt vor: StableLM Zephyr 3B. Dieses Modell ist ein großes Sprachmodell (LLM) mit 3 Milliarden Parametern, das für verschiedene Chat-Anwendungen wie Textgenerierung, Zusammenfassungen und Inhaltsanpassung entwickelt wurde. StableLM Zephyr 3B ist eine optimierte, kleinere Version des ursprünglich in diesem Jahr eingeführten StableLM-Modells zur Textgenerierung.

Ein entscheidender Vorteil von StableLM Zephyr 3B liegt in seiner Größe. Durch die geringere Größe im Vergleich zu den 7 Milliarden Parameter-Versionen von StableLM kann es auf einer breiteren Hardwarepalette mit verringertem Ressourcenbedarf eingesetzt werden, während es schnelle Antworten liefert. Das Modell wurde speziell für Fragebeantwortung und instruktive Aufgaben optimiert.

„StableLM wurde länger mit hochwertigeren Daten trainiert als frühere Modelle und verwendet doppelt so viele Tokens wie LLaMA v2 7b, erreicht jedoch die Basisleistung dieses Modells bei nur 40 % der Größe“, erklärte Emad Mostaque, CEO von Stability AI.

Die Einführung von StableLM Zephyr 3B

StableLM Zephyr 3B ist kein gänzlich neues Modell, sondern eine Erweiterung des bestehenden StableLM 3B-4e1t-Modells. Sein Design basiert auf dem Zephyr 7B-Modell von HuggingFace, das unter einer Open-Source-MIT-Lizenz betrieben wird und als Assistent gedacht ist. Zephyr nutzt eine Trainingsmethode namens Direct Preference Optimization (DPO), die auch in StableLM Anwendung findet.

Mostaque erläuterte, dass DPO eine Alternative zu den Verstärkungslernen-Techniken früherer Modelle darstellt und diese verfeinert, um besser auf menschliche Präferenzen einzugehen. Während DPO normalerweise bei größeren Modellen angewendet wird, ist StableLM Zephyr eines der ersten Beispiele für diese Methode in einem kleineren 3 Milliarden Parameter-Modell.

Stability AI hat DPO in Kombination mit dem UltraFeedback-Datensatz der OpenBMB-Forschungsgruppe verwendet, der mehr als 64.000 Eingabeaufforderungen und 256.000 Antworten umfasst. Diese Kombination aus DPO, der Modellgröße und dem optimierten Trainingsdatensatz führt zu beeindruckenden Leistungskennzahlen. So übertraf StableLM Zephyr 3B in der MT Bench-Bewertung größere Modelle wie Meta's Llama-2-70b-chat und Anthropic's Claude-V1.

Ein wachsendes Portfolio von Modellen

StableLM Zephyr 3B trägt zu einem wachsenden Portfolio von Modellen bei, das Stability AI als KI-Startup fortlaufend erweitert. Im August launchte das Unternehmen StableCode zur Anwendungsentwicklung, gefolgt von Stable Audio im September für die Text-zu-Audio-Generierung. Im November gab es einen Vorgeschmack auf Stable Video Diffusion, was Stability AIs Eintritt in die Videogenerierung markiert.

Trotz dieser Expansion hält Stability AI an seinen Wurzeln in der Text-zu-Bild-Generierung fest. Kürzlich stellte das Unternehmen SDXL Turbo vor, eine schnellere Version seines Flaggschiffmodells SDXL für Text-zu-Bild stabile Diffusion.

Mostaque betont, dass noch viel Innovation von Stability AI zu erwarten ist. „Wir glauben, dass kleine, offene, leistungsfähige Modelle, die auf spezifische Nutzerdaten zugeschnitten sind, größere allgemeine Modelle übertreffen werden“, erklärte er. „Mit der bevorstehenden vollständigen Veröffentlichung unserer neuen StableLM-Modelle freuen wir uns darauf, generative Sprachmodelle weiter zu demokratisieren.“