Microsoft stellt Phi-2 vor: Ein kompaktes Sprachmodell, das in der Leistung Llama 2 und Mistral 7B übertrifft.

Die Dynamik der Entwicklungen im Bereich der generativen KI beschleunigt sich zunehmend zum Ende des Jahres 2023, entgegen der typischen Verlangsamung während der Winterferien.

Heute stellte Microsoft Research, die innovative Abteilung des Technologie-Riesen, sein kleines Sprachmodell Phi-2 (SML) vor. Diese neuartige Text-zu-Text-KI ist so kompakt, dass sie auf Laptops und mobilen Geräten betrieben werden kann, wie in einem Beitrag auf X hervorgehoben.

Phi-2, ausgestattet mit 2,7 Milliarden Parametern (Verbindungen zwischen künstlichen Neuronen), bietet eine Leistung, die mit größeren Modellen wie Meta's Llama 2-7B mit 7 Milliarden Parametern und Mistral-7B, einem weiteren Modell ähnlicher Größe, vergleichbar ist. Besonders hervorzuheben ist, dass Phi-2 auch in der Lage ist, Google’s neues Modell Gemini Nano 2 zu übertreffen, obwohl dieses über eine zusätzliche halbe Milliarde Parameter verfügt. Zudem generiert Phi-2 Antworten mit weniger Toxizität und Bias im Vergleich zu Llama 2.

In einem gezielten Vergleich verwies Microsoft auf Googles umstrittenes Demovideo, in dem das kommende Modell Gemini Ultra angeblich komplexe Physikprobleme löste und Fehler von Schülern korrigierte. Interessanterweise konnte Phi-2 diese Physikfragen ebenfalls präzise beantworten und die richtigen Lösungen anbieten, obwohl es deutlich kleiner als Gemini Ultra ist.

Jedoch gibt es eine wesentliche Einschränkung: Phi-2 ist derzeit ausschließlich unter einer speziellen Microsoft Research Lizenz für Forschungszwecke lizenziert, die eine kommerzielle Nutzung ausdrücklich verbietet. Daher können Unternehmen, die Produkte auf Basis dieses Modells entwickeln möchten, dies momentan nicht tun.