几周前,微软推出了Copilot+ PC,这引发了一个问题:为什么我无法在我的GPU上运行这些AI应用程序?在2024年台北电脑展上,英伟达终于对此进行了回应。
英伟达与微软正在合作开发一个应用程序接口(API),使开发者能够在RTX显卡上运行AI加速应用程序。这包括支持Copilot运行时的“小语言模型”(SLMs),这些模型驱动了“回忆”和“实时字幕”等功能。
通过这个工具包,开发者可以在您的GPU上本地执行应用程序,而不必仅依赖神经处理单元(NPU)。这一进展为更强大的AI应用奠定了基础,因为与NPU相比,GPU通常具备更强的AI处理能力,同时也扩展了超出当前Copilot+要求的PC的可及性。
这一举措具有战略意义。Copilot+ PC目前依赖于至少具备40万亿次操作每秒(TOPS)性能的NPU,但目前只有Snapdragon X Elite符合这一标准。相比之下,GPU的AI处理能力显著更高,入门级型号可达到100 TOPS,而高端型号更是超越这一水平。
新推出的API还为Copilot运行时增添了检索增强生成(RAG)功能。RAG允许AI模型检索特定的本地信息,从而提供更有效的解决方案。我们已经在今年早些时候看到,英伟达在“与RTX聊天”中展示了RAG功能。
除了这个API,英伟达还在台北电脑展上推出了RTX AI工具包。该开发者套件定于6月发布,整合了多种工具和SDK,允许开发者为特定应用精细调校AI模型。英伟达声称,使用RTX AI工具包的模型相比于开源替代方案,速度快四倍,体积小三倍。
一系列工具正在不断涌现,赋予开发者为最终用户创建定制AI应用的能力。虽然一些创新已经融入Copilot+ PC,但我们期待在未来一年内会出现更多样化的AI应用。随着硬件具备支持这些应用的能力,我们现在只需相应的软件即可。