AI的中介層需要高級硬體解決方案

Home AI新聞 AI的中介層需要高級硬體解決方案

隨著企業日益重視開發 AI 應用和代理，利用各種語言模型和資料庫以達到最佳成果的重要性愈加明顯。將一個應用從 Llama 3 切換到 Mistral 可能需要精湛的技術技巧。關鍵在於協同層，這是將基礎模型連接到應用之間的重要中介，負責管理 API 調用以高效執行任務。

這個協同層主要由如 LangChain 和 LlamaIndex 等軟體解決方案組成，旨在促進資料庫的整合。然而，一個重要問題隨之而來：這一層僅僅依賴軟體嗎，還是硬體在 AI 模型的運行中也起著重要作用？

答案明確：硬體對支持如 LangChain 的架構以及基礎的 AI 應用資料庫至關重要。企業需要強大的硬體組合，能夠處理高流量數據，同時考慮到可以在現場執行大量數據中心任務的設備。

“雖然 AI 中層主要是軟體問題，但硬體供應商可以顯著影響其性能和效率，”InterSystems 的數據平台負責人 Scott Gnau 說。AI 基礎設施專家強調，儘管軟體對於 AI 協同至關重要，其效率又依賴於伺服器和 GPU 處理大量數據流動的能力。因此，為了使協同層能夠高效運作，其基礎硬體必須具備智能和高效，專注於高帶寬、低延遲的連接，以處理重負載。

“這個協同層需要快速的晶片，”IBM Consulting 的生成式 AI 管理合夥人 Matt Candy 解釋說。“我設想未來，矽晶片和伺服器可以根據模型的類型和大小進行優化，協同層能夠動態切換任務。”

目前已有的 GPU 能夠有效支持這些需求。戴爾的全球首席技術官及首席 AI 官 John Roese 指出：“這是硬體和軟體的問題。人們常常忘記 AI 以軟體的形式出現，而這些軟體則在硬體上運行。AI 軟體是我們創造過的最具挑戰性的，必須理解性能指標和計算需求。”

儘管 AI 中層需要快速而強大的硬體，但在現有的 GPU 和晶片外並不需要新型專用設備。Gnau 指出：“毫無疑問，硬體是推動進步的重要因素，但除了 GPU，專用硬體驅動重大進展的可能性不大。優化將來自軟體和架構，並減少數據移動。”

AI 代理的出現進一步加強了對這一中層的需求。當 AI 代理彼此通信並發起多個 API 調用時，有效的協同層對於管理這些流量至關重要。Candy 表示：“這一層確保所有類型的 AI 模型和技術都能無縫訪問 API，提升整體用戶體驗。我將其稱為中介堆疊中的 AI 控制器。”

AI 代理在行業中引起熱議，未來幾年可能會影響企業 AI 基礎設施的發展。Roese 為企業提出另一個考量：在設備上的 AI。企業必須計劃 AI 代理需要本地運行的情況，特別是在失去連接的情況下。

“關鍵問題在於操作發生的地點，”Roese 建議。“這是 AI PC 等概念發揮作用的地方。當一組代理代表你協作時，它們是否都需要集中管理？”他談到戴爾正在探索本地的 “管家” 代理，以便在網絡中斷時保持操作。

生成式 AI 促成了技術堆疊的激增，新的服務提供商不斷湧現，提供 GPU 空間、數據庫和 AIOps 服務。然而，Uniphore 首席執行官 Umesh Sachdev 警告，這一擴展不一定會持久。“儘管技術堆疊激增，我相信我們將會經歷一個正常化的階段，”Sachdev 預測。“最終，組織將在內部整合資源，GPU 的需求將穩定下來。層級和供應商的激增是新技術的典型特徵，我們將會見到類似的趨勢於 AI。”

對於企業來說，最佳實踐是考慮整個 AI 生態系統——從硬體到軟體——以確保有效的 AI 工作流程。

谷歌宣布下個月推出基於Gemini的工作區自動化功能

企業實現人工智慧所需的基本基礎設施是什麼？