Google Cloud Run 整合 Nvidia GPU 提升無伺服器 AI 推理效能

Home AI新聞 Google Cloud Run 整合 Nvidia GPU 提升無伺服器 AI 推理效能

探索無伺服器基礎架構下的人工智慧成本與效益

運行人工智慧應用程式會產生各種成本，其中GPU推理的費用是最關鍵的開支之一。傳統上，負責人工智慧推理的組織依賴於持續運行的雲端實例或本地硬體。然而，Google Cloud 現在正在預覽一項創新解決方案，這可能改變人工智慧應用的部署方式：將Nvidia L4 GPU與其Cloud Run無伺服器服務整合，讓組織能夠進行無伺服器推理。

運用無伺服器推理的優勢

無伺服器架構的主要優點是成本效益；服務僅在需要時運行，使用者只需為實際使用付費。與傳統雲端實例持續運行不同，無伺服器GPU僅在特定請求期間啟動。

無伺服器推理可以利用Nvidia NIM和多種框架，包括VLLM、PyTorch和Ollama。目前Nvidia L4 GPU的支援受到高度期待。

“隨著客戶日益採用人工智慧，他們希望在熟悉的平台上部署AI工作負載，”Google Cloud Serverless產品經理Sagar Randive表示。“Cloud Run的高效率和靈活性至關重要，使用者早已要求GPU支援。”

轉向無伺服器人工智慧環境

Google的Cloud Run是一個完全管理的無伺服器平台，因其便於容器部署和管理而受到開發者歡迎。隨著AI工作負載的增長，特別是需要實時處理的負載，對增強計算資源的需求變得顯而易見。

新增的GPU支援為Cloud Run開發者帶來了各種可能性，例如：

- 使用輕量級模型（如Gemma 2B/7B或Llama 3 (8B)）進行實時推理，支持響應式聊天機器人和動態文件摘要工具的開發。

- 自定義微調的生成式AI模型，使特定品牌的圖像生成應用更加可擴展。

- 加速計算密集型任務，包括圖像識別、影片轉檔和3D渲染，當閒置時可完全降至零。

無伺服器人工智慧推理的性能考量

無伺服器架構的一個常見關切是性能，尤其是冷啟動。Google Cloud通過提供出色的指標來解決這些問題：對於Gemma 2B、Gemma 2 9B、Llama 2 7B/13B和Llama 3.1 8B等多個模型的冷啟動時間，範圍為11到35秒。

每個Cloud Run實例可配備一個Nvidia L4 GPU，提供多達24GB的虛擬記憶體，足以應對大多數AI推理任務。Google Cloud旨在保持模型的通用性，雖然他們建議使用小於130億參數的模型以獲得最佳性能。

無伺服器人工智慧推理的成本效益

無伺服器模型的一大優勢是其更佳的硬體利用潛力，這可轉化為成本節省。然而，無伺服器AI推理是否比傳統長期運行的伺服器更便宜，則取決於特定應用和預期的流量模式。

“這是非常細緻的，”Randive解釋道。“我們將更新我們的價格計算器，以反映Cloud Run的新GPU定價，讓客戶能夠比較不同平台的總運營成本。”

通過適應這一新興的無伺服器政策，組織可以優化其人工智慧部署策略，同時有效管理成本。

Midjourney推出全新網站：立即獲取25次免費AI圖像生成！

LambdaTest 推出 KaneAI：您的全方位軟體測試代理人

Most people like

Outfit Changer AI

188K

探索人工智慧如何改變時尚產業——提升設計流程、個性化顧客體驗並推動可持續發展。在這篇文章中，我們將深入探討人工智慧在時尚界的創新應用，使其比以往任何時候更具創意與可及性。讓我們一起踏上科技與風格交織的迷人旅程。

人工智慧時尚 AI Clothing Generator

Dappier

19.5K

在當今的數位環境中，高品質內容的需求達到前所未有的高峰，使得AI內容授權成為企業和創作者的重要資產。專門針對AI內容授權的線上市場提供了一個簡化的平台，用於獲取、分享和變現創新型的AI生成材料。無論您是尋求引人入勝視覺的行銷人員，還是需要新鮮點子的內容創作者，這些市場都提供了一個寶藏般的資源，旨在提升您的專案並提高您的生產力。發掘如何利用AI內容可以改變您的創意工作並在競爭激烈的線上空間提升您的品牌。

AI 內容授權 AI Chatbot

Beacons

20.1M

探索專為內容創作者設計的終極AI驅動全能平台。透過先進的工具釋放您的創意潛力，簡化內容創作、編輯和發佈流程。利用我們的強大功能，優化您的工作流程，前所未有地吸引您的觀眾，提升您的創意項目。今天就加入內容創作的革命吧！

內容創作者 Bio Link

Fix Blurry Photos

9.4K

使用我們的免費AI驅動服務，專業修復模糊和受損的人像照片，重燃您珍貴的回憶。珍藏您的美好時光，確保它們保持清晰！

其他 AI Image Enhancer

Find AI tools in YBX