LLMへのアクセス制限？Snowflakeがクロスリージョン推論を発表し、利用可能性を向上

Home AIニュース LLMへのアクセス制限？Snowflakeがクロスリージョン推論を発表し、利用可能性を向上

大規模言語モデル（LLM）の地域アクセス性は、競争優位性を大幅に向上させる可能性があります。迅速なアクセスはイノベーションを促進しますが、導入を待たなければならない企業は遅れを取るリスクがあります。

しかし、AIの急速な進化のため、企業はモデルが技術スタックに取り入れられるまで導入を見送ることが多くあります。この遅れは、リソースの制約や西洋中心のバイアス、多言語の課題によるものです。

この問題に対処するため、SnowflakeはCortex AIでのクロスリージョン推論の一般提供を発表しました。簡単な設定を行うことで、開発者は特定のモデルがローカルに存在しなくても、異なる地域でリクエストを処理できるようになります。これにより、新しいLLMのシームレスな統合が可能になります。

企業は、米国、EU、アジア太平洋地域及び日本（APJ）全体で、追加の出口料金なしにLLMを安全に利用できます。

「Cortex AIでのクロスリージョン推論により、地域の可用性に関係なく、選択したLLMとシームレスに統合できます」とSnowflakeのAI製品マーケティングを担当するアラン・アガーワルは述べています。

クロスリージョン推論の有効化

クロスリージョン機能を利用するには、データが移動できるようにする設定を手動で有効化する必要があります。設定はデフォルトで無効になっていますので、開発者は推論を行う地域を指定する必要があります。両方の地域がAmazon Web Services（AWS）であれば、データはAWSのグローバルネットワークを通じて安全に移動し、自動的な物理層暗号化の恩恵を受けます。異なるクラウドプロバイダーが関与する場合、トラフィックは公共のインターネットを介して暗号化された相互トランスポート層セキュリティ（MTLS）を使用して移動します。重要なのは、入力、出力、サービス生成のプロンプトは保存またはキャッシュされず、推論処理はクロスリージョンの環境内でのみ行われることです。

Snowflakeのフレームワーク内で安全に応答を生成するためには、ユーザーはまずアカウントレベルのパラメーターを設定して、推論を行う地域を定義する必要があります。その後、Cortex AIは、要求されたLLMがソース地域にない場合に適切な処理地域を自動的に特定します。

例えば、ユーザーがパラメーターを「AWSUS」に設定すると、推論は米国東部または西部のいずれかで行われます。また、「AWSEU」を設定することで、中央EUまたはアジア太平洋北東部にルーティングされます。現在、ターゲット地域はAWS内でのみ設定可能ですが、AzureやGoogle Cloudでクロスリージョンが有効になっている場合でも、リクエストはAWSを通じて処理されます。

アガーワルはSnowflake Arcticのシナリオを例に挙げます。モデルがソース地域（AWS米国東部）で利用できない場合、クロスリージョン推論によりリクエストがAWS米国西部2にルーティングされ、レスポンスは元の地域に返されます。「これらはすべて、1行のコードで実行できます」とアガーワルは指摘します。

ユーザーは、クロスリージョンではなく、ソース地域で消費されたLLMの使用に対してクレジットが請求されます。地域間のラウンドトリップのレイテンシーは、インフラストラクチャとネットワークの状況によって影響を受けますが、SnowflakeはこのレイテンシーがLLM推論のレイテンシーと比べて無視できる程度であると予想しています。

ロンドン帝国大学とDeepMindが発表：最小限のデータで学習するエンボディードエージェントの革新

Googleクラウド調査：86%の企業が生成AI導入で6%の売上成長を実現

Most people like

Visily: AI-Powered Wireframing & Design

473.2K

Visilyは、直感的でAI駆動のワイヤーフレームツールを通じて、デザインプロセスを効率化します。

ワイヤーフレームツール AI Product Description Generator

Semflow

30.7K

Webflowユーザーの皆さん、ウェブサイトの可視性を向上させたいですか？私たちのSEOアプリは、まさにあなたのために設計されています。強力なツールと使いやすい機能を備え、検索エンジン向けのサイト最適化がこれまでになく簡単になります。オンラインプレゼンスを強化し、トラフィックを増やし、検索ランキングを楽に向上させましょう。私たちのSEOソリューションでウェブサイトを変革するWebflowユーザーの成長するコミュニティに参加してください！

Webflow SEO AI SEO Assistant

Manga Translator

87.4K

漫画愛好家の皆さん、まだあなたの言語に翻訳されていないストーリーを読んでみたいと思っていませんか？AI漫画翻訳拡張機能を紹介します。これは、言語の壁を越え、読み体験を向上させるために設計された最先端のソリューションです。強力な人工知能機能を持つこの拡張は、漫画のパネルをリアルタイムで翻訳し、公式翻訳を待つことなくファンタジーと冒険の世界に没入することを可能にします。言語の制約にさよならを告げ、新しいタイトルを簡単に発見できるユーザーフレンドリーなツールです。カジュアルな読者から熱心なファンまで、すべての方に最適です。今日、漫画の鮮やかな宇宙に飛び込み、すべてのパネルがあなたの言語で生き生きと蘇る体験をお楽しみください！

マンガ翻訳者 Translate

AdCopy.ai

28.5K

AdCopy.aiを使って、あなたのeコマースビジネスの可能性を引き出しましょう。この革新的なAI駆動のプラットフォームは、魅力的な広告コピーを簡単に作成する手助けをします。専門的に生成されたコンテンツで、マーケティング戦略を強化し、ターゲットオーディエンスに合わせた成果を上げましょう。

その他 AI Ad Creative Assistant

Find AI tools in YBX