幾週前,當微軟推出 Copilot+ 個人電腦時,一個問題浮現出來:為什麼我不能在我的 GPU 上運行這些 AI 應用程序?在 2024 年的 Computex 展會上,Nvidia 終於解答了這個疑問。
Nvidia 和微軟正在合作開發一個應用程式介面(API),使開發者能夠在 RTX 顯示卡上運行 AI 加速的應用程式。這包括對 Copilot 運行時至關重要的小型語言模型(SLMs),它們支持回憶(Recall)和即時字幕(Live Captions)等功能。
這套工具包使用戶能夠在 GPU 上本地執行應用程式,而不僅僅依賴神經處理單元(NPU)。此進步為更強大的 AI 應用程序鋪平了道路,因為 GPU 通常提供比 NPU 更優越的 AI 處理能力,並擴大了 PC 在超越目前 Copilot+ 需求上的可及性。
這是一個戰略性發展。目前,Copilot+ 個人電腦依賴至少能夠執行 40 萬億運算每秒(TOPS)的 NPU,但目前唯一符合這一規範的僅是 Snapdragon X Elite。相比之下,GPU 的 AI 處理能力顯著更高,入門級型號的績效達到 100 TOPS,而高階型號更是超過這個數字。
新推出的 API 還增強了 Copilot 運行時的檢索增強生成(RAG)功能。RAG 能夠讓 AI 模型檢索特定的本地信息,以提供更有效的解決方案。今年早些時候,我們在 Nvidia 的 Chat with RTX 中見證了 RAG 功能的應用。
除了 API,Nvidia 還在 Computex 上推出了 RTX AI 工具包,該開發者套件計劃於 6 月發佈,整合多種工具和 SDK,使開發者能針對專業應用微調 AI 模型。Nvidia 宣稱,使用 RTX AI 工具包的模型相比開源替代品,性能可提升四倍,體積可縮小三倍。
目前,越來越多的工具正在湧現,讓開發者能夠為終端用戶創建量身定制的 AI 應用程序。儘管一些創新已融入 Copilot+ 個人電腦,我們可以預期在來年會出現更多種類的 AI 應用。隨著硬體具備這些應用的支持能力,我們現在只需相應的軟件即可。