微软发布Phi-Silica:一款为Copilot+和先进PC NPU设计的33亿参数模型

微软正在加大对小型语言模型(SLM)的投资。在其Build开发者大会上,公司宣布Phi-3模型的正式上线,并预览了Phi-3-vision。继微软推出Copilot+ PC之后,公司还推出了Phi-3-Silica,这是一款专门为这些设备强大的神经处理单元(NPU)设计的SLM。

Phi-3-Silica将于6月开始在所有Copilot+ PC中提供。这款模型是Phi系列中参数最少的,拥有33亿个参数。

微软表示,Phi-3-Silica的首次令牌延迟为每秒650个令牌,仅消耗1.5瓦特的功率,确保其轻便高效。这使得PC的CPU和GPU能够专注于其他任务。此外,其令牌生成可以利用NPU的KV缓存,CPU可以产生约27个令牌每秒。

一位微软发言人强调,Phi-Silica是Windows上首个本地部署的语言模型。针对Copilot+ PC的NPU进行了优化,为用户带来了快速的本地推理体验。这一发展标志着为第三方开发者提供高级AI工具的一次重要进步,提升了Windows生态系统中的生产力和可及性。用户可以期待在这个秋季从第一方和第三方开发者那里获得创新体验。

Phi-Silica是微软Phi-3系列的第五个成员,该系列还包括拥有38亿参数的Phi-3-mini、70亿参数的Phi-3-small、140亿参数的Phi-3-medium和42亿参数的Phi-3-vision。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles