Google Cloud Run、Nvidia GPUを統合し、サーバーレスAI推論を強化

AIとサーバーレスインフラのコストと利点を探る

AIアプリケーションの運用にはさまざまなコストが伴い、その中でも推論に必要なGPUパワーが最も重要な費用の一つです。従来、AI推論を管理する組織は、継続的なクラウドインスタンスやオンプレミスのハードウェアに依存していました。しかし、Google Cloudは、Nvidia L4 GPUとそのCloud Runのサーバーレスソリューションを統合する革新的な提案を発表しており、これによってAIアプリケーションのデプロイが変革される可能性があります。この統合により、組織はサーバーレス推論を実行できるようになります。

サーバーレス推論の力を活用する

サーバーレスアーキテクチャの主な利点は、コスト効率の高さです。サービスは必要なときにのみ稼働し、ユーザーは実際の使用に応じて料金を支払います。従来のクラウドインスタンスが常に稼働するのに対し、サーバーレスGPUは特定のリクエスト時のみ有効になります。

サーバーレス推論では、Nvidia NIMやVLLM、PyTorch、Ollamaなどのさまざまなフレームワークが利用可能です。現在、Nvidia L4 GPUのサポートがプレビュー中です。

「顧客がAIを採用するにつれて、AIワークロードを馴染みのあるプラットフォームで展開したいと考えています」と、Google Cloud Serverlessのプロダクトマネージャー、サガー・ランディブ氏は述べています。「Cloud Runの効率性と柔軟性は重要であり、ユーザーからGPUのサポートを求める声が高まっています。」

サーバーレスAI環境への移行

GoogleのCloud Runは、完全に管理されたサーバーレスプラットフォームで、開発者からそのコンテナのデプロイと管理の容易さが支持されています。AIワークロードが増える中、特にリアルタイム処理を必要とするタスクに対する計算リソースの需要が高まっています。

GPUサポートの追加は、Cloud Runの開発者にさまざまな可能性をもたらします:

- Gemma 2B/7BやLlama 3 (8B)のような軽量モデルを使用したリアルタイム推論により、応答性の高いチャットボットや動的なドキュメント要約ツールの開発が可能になります。

- 特定のブランドに合わせたスケーラブルな画像生成アプリケーションを実現するためのカスタマイズ可能な生成AIモデル。

- 画像認識、ビデオトランスコーディング、3Dレンダリングなどの計算集約的なタスクの加速ができ、アイドル時にはスケールダウンしてゼロになります。

サーバーレスAI推論のパフォーマンス考慮事項

サーバーレスアーキテクチャに関連する一般的な懸念の一つはパフォーマンス、特にコールドスタートです。Google Cloudは、Gemma 2B、Gemma 2 9B、Llama 2 7B/13B、Llama 3.1 8Bモデルのコールドスタート時間について、11秒から35秒の素晴らしいメトリクスを提供しています。

各Cloud Runインスタンスは、1つのNvidia L4 GPUを搭載可能で、最大24GBのvRAMが利用できます。これはほとんどのAI推論タスクに充分です。Google Cloudはモデルの汎用性を維持しつつ、最適なパフォーマンスを得るために、13億パラメータ未満のモデルの使用を推奨しています。

サーバーレスAI推論のコスト効率

サーバーレスモデルの大きな利点は、ハードウェアの利用効率の向上によるコスト削減が期待できることです。ただし、サーバーレスAI推論が従来の長時間稼働サーバーよりも安価になるかどうかは、特定のアプリケーションと予想されるトラフィックパターンによります。

「これは繊細な問題です」とランディブ氏は説明します。「新しいGPU価格を反映させた価格計算機を更新し、顧客がさまざまなプラットフォームでの総運用コストを比較できるようにします。」

この新たなサーバーレス政策に適応することで、組織はAIデプロイ戦略を最適化し、コストを効果的に管理できるようになるでしょう。