Microsoft präsentiert Phi-Silica: Ein 3,3 Milliarden Parameter Modell, entwickelt für Copilot+ und fortschrittliche PC-NPUs.

Microsoft verstärkt seine Investitionen in kleine Sprachmodelle (SLMs). Auf der Build-Entwicklerkonferenz kündigte das Unternehmen die allgemeine Verfügbarkeit seiner Phi-3-Modelle an und gab einen Ausblick auf Phi-3-vision. Nach den Neuigkeiten über Microsofts Copilot+ PCs führt das Unternehmen Phi-3-Silica ein, ein SLM, das speziell für die leistungsstarken Neural Processing Units (NPUs) in diesen Geräten entwickelt wurde.

Phi-3-Silica wird ab Juni in allen verfügbaren Copilot+ PCs integriert sein. Dieses Modell ist das kleinste der Phi-Reihe und verfügt über 3,3 Milliarden Parameter.

Laut Microsoft beträgt die erste Token-Latenz für Phi-3-Silica 650 Tokens pro Sekunde und es benötigt lediglich 1,5 Watt, was es leicht und effizient macht. Dadurch kann sich die CPU und GPU des PCs auf andere Aufgaben konzentrieren. Außerdem kann die Token-Generierung den KV-Cache der NPU nutzen, wodurch die CPU etwa 27 Tokens pro Sekunde erzeugen kann.

Ein Sprecher von Microsoft betonte, dass Phi-Silica als erstes lokal einsatzbereites Sprachmodell für Windows von Bedeutung ist. Optimiert für die NPU der Copilot+ PCs, ermöglicht es schnelle lokale Inferenz auf den Geräten der Benutzer. Diese Entwicklung ist ein wichtiger Schritt zur Ausstattung von Drittentwicklern mit fortschrittlichen KI-Tools, die auf Windows optimiert sind, und verbessert die Produktivität und Zugänglichkeit innerhalb des Ökosystems. Benutzer dürfen in diesem Herbst mit innovativen Erfahrungen sowohl von Erst- als auch von Drittanbietern rechnen.

Phi-Silica ist die fünfte Ergänzung der Phi-3-Serie von Microsoft, zu der auch Phi-3-mini mit 3,8 Milliarden Parametern, Phi-3-small mit 7 Milliarden Parametern, Phi-3-medium mit 14 Milliarden Parametern und Phi-3-vision mit 4,2 Milliarden Parametern gehört.