微軟正在加大對小型語言模型(SLM)的投資。在其Build開發者大會上,公司宣布Phi-3模型的正式上線並預覽了Phi-3-vision。隨著微軟Copilot+ PC的消息傳出,該公司推出了專為這些設備中的強大神經處理單元(NPU)設計的Phi-3-Silica SLM。
Phi-3-Silica將於6月起在所有Copilot+ PC中提供。此模型為Phi系列中規模最小,擁有33億個參數。
根據微軟的資料,Phi-3-Silica的首個標記延遲為每秒650個標記,功耗僅為1.5瓦特,確保其輕巧高效。這使得PC的CPU和GPU能夠專注於其他任務。此外,其標記生成能夠利用NPU的KV快取,使得CPU每秒可生成約27個標記。
微軟發言人強調,Phi-Silica是首個本地部署的Windows語言模型,專為Copilot+ PC的NPU進行優化,為用戶的設備帶來快速的本地推理。這一發展標誌著在提供先進的AI工具以優化Windows環境方面,為第三方開發者鋪平了道路,提升了生產力和使用便利性。今年秋季,用戶可期待來自第一方和第三方開發者的創新體驗。
Phi-Silica是微軟Phi-3系列的第五款產品,其中包括擁有38億參數的Phi-3-mini、70億參數的Phi-3-small、140億參數的Phi-3-medium以及42億參數的Phi-3-vision。