有限的LLM訪問權限？Snowflake推出跨區域推理，提升可用性

Home AI新聞有限的LLM訪問權限？Snowflake推出跨區域推理，提升可用性

大型語言模型（LLM）的區域可存取性可以顯著提升競爭優勢——更快的存取使得創新加速。相反，必須等待的組織則有可能落後。

然而，AI技術的快速發展常常迫使企業推遲採用，直到模型在其技術堆疊中可用。這種延遲通常源自資源限制、西方中心的偏見和多語言挑戰。

為了解決這一緊迫問題，Snowflake 宣布了Cortex AI的跨區推理之全面可用性。透過簡單的配置，開發者可以在不同區域處理請求，即便特定模型在當地並不可用。這使得當新LLM可用時，能夠無縫整合。

企業可以在美國、歐盟及亞太和日本（APJ）安全地使用LLM，而無需承擔額外的數據傳輸費用。Snowflake的AI產品營銷負責人Arun Agarwal表示：“Cortex AI的跨區推理讓您能夠與選擇的LLM無縫整合，不受區域可用性的限制。”

啟用跨區推理

需為數據穿越啟用跨區功能，默認為禁用狀態。開發者必須指定推理的區域。如果兩個區域都運行於亞馬遜網絡服務（AWS），數據將透過AWS的全球網絡安全傳輸，並自動享受物理層加密的保護。若涉及不同的雲供應商，流量將通過公網使用加密的雙向傳輸層安全（MTLS）。值得注意的是，輸入、輸出和服務生成的提示不會被存儲或快取；推理處理僅在跨區域環境中進行。

為了在Snowflake的架構內安全生成回應，使用者必須首先設置帳戶級參數以定義推理進行的地點。當請求的LLM在源區域不可用時，Cortex AI會自動識別適當的處理區域。例如，如果使用者將參數設置為“AWSUS”，則推理可以發生在美國東部或西部。相對地，設置“AWSEU”則可將請求路由至中部歐盟或亞太東北地區。目前，目標區域僅能在AWS中配置；如果在Azure或Google Cloud啟用跨區，請求仍會通過AWS處理。

Agarwal以一個涉及Snowflake Arctic的情景來說明。如果模型在源區域（AWS美國東部）不可用，跨區推理則將請求路由至AWS美國西部2，回應會被返還至原始區域。

“這一切只需一行代碼就可完成，”Agarwal指出。

用戶將根據源區域消耗的LLM使用量計費，而非跨區。區域之間的回程延遲受基礎設施和網絡條件影響，但Snowflake預期這一延遲相較於LLM推理延遲將微不足道。

倫敦帝國學院與DeepMind揭示能以最少數據學習的具體化智能體

根據Google Cloud的調查，86%的企業使用生成式AI實現了6%的營收增長。

Most people like

MusicHero.ai

876.5K

在科技持續重新定義創意的時代，一款將文本轉化為音樂作品的 AI 音樂生成器正在革新音樂產業。這個創新的工具使用戶能夠將書面思想、故事或情感轉化為原創旋律，架起語言與聲音之間的橋樑。無論您是經驗豐富的音樂家還是新興創作者，這款基於 AI 的技術為藝術表達打開了激動人心的新途徑。發現這款強大的 AI 音樂生成器如何激發您的創意，簡化您的工作流程，並提升您的音樂項目。

AI 音樂生成器 AI Music Generator

Be Your Best

44K

提升您的視野與決策能力，將您的表現昇華至更高層次。

視覺提升 AI Coaching

GirlfriendGPT - The AI Companion Chatroom

5.8M

歡迎來到一個開放且不受審查的AI夥伴聊天室，您可以在此進行SFW（適合工作場合）和NSFW（不適合工作場合）的對話。與我們一起展開符合您興趣的坦誠討論！

人工智慧聊天室 AI Character

Harbr - Modern Trade Credit

11.4K

透過以人工智能驅動的信用申請軟件，實現無縫的入職流程，專為提升效率而設計。

信用申請軟體 AI Lead Generation

Find AI tools in YBX