Nvidiaが生成AI市場でそのハードウェアとソフトウェアの広範なラインナップに支えられて成長を続ける一方で、イスラエルのスタートアップHailoは競争に登場しました。彼らは新たに開発したHailo-10を発表し、これはエッジデバイス専用のエネルギー効率の良い生成AIアクセラレーターです。
Hailo-10プロセッサは、クラウドデータセンターに依存せず、車両や商業用ロボットといったエッジデバイス上で生成AIアプリケーションを動作させることを可能にします。Hailoによれば、これによりモデルのパフォーマンスが大幅に向上し、コストとエネルギー消費が削減されると述べています。
Hailo-10の発表に合わせて、同社はSiriーズCの資金調達ラウンドを拡張し、追加で1億2000万ドルを調達しました。新規および既存の投資家からのこの投資により、Hailoの企業価値は12億ドルに達しました。「この資金により、私たちのパイプラインにあるエキサイティングな機会を活かし、長期的な成長に向けた基盤を固めることができます」と、Hailo共同創業者兼CEOのオール・ダノン氏は述べています。彼は、Hailo-10アクセラレーターが生成AIを日常生活にシームレスに統合し、ユーザーがチャットボットやコンテンツ生成ツールを柔軟に活用できるようになると強調しました。
Hailo-10生成AIアクセラレーターの期待される機能
生成AIはすでにマーケティングコンテンツの作成や、人間のような会話のシミュレーションを通じて企業を変革していますが、そのエッジ機能はまだ大きく未開拓です。Hailoは、この新しいプロセッサを用いて、自然な人間の対話が可能なロボットなど、高度な機能を現実のものにしようと考えています。
従来のAIハードウェアはクラウドデータセンターでエッジアプリケーションをサポートできますが、クラウドコンピューティングはデータ処理の遅延によりレイテンシの問題を抱えています。Hailo-10は、この課題を解決し、デバイス上で直接生成AIサービスを実行することで、処理能力を向上させます。
リアルタイム翻訳の自動化やソフトウェアコードの生成、テキストプロンプトからの画像や動画の生成など、Hailo-10はこれらのタスクをPCや他のエッジシステム上で直接実行できるとダノン氏は言います。これによりCPUの負担やバッテリーの消耗を軽減できます。
Hailo-10は、従来のHailo-8およびHailo-15と同じソフトウェアスイートを使用し、優れたパフォーマンス対消費電力比を持っています。Llama2-7Bを最大10トークン毎秒で5W未満の消費電力で実行し、Stable Diffusion 2.1を使って5秒未満で画像を生成できます。
エッジ生成AIがより没入型になるにつれ、注目は最小の電力消費(理想的には5W未満)で大規模言語モデル(LLM)を管理することに移ります。Hailo-10は最大40TOPS(テラオペレーション/秒)の性能を発揮し、エッジAIアクセラレーターの新たなパフォーマンス基準を設定しました。
比較すると、NvidiaのJetsonラインはエッジAIワークロードに対して最大275TOPSを提供していますが、消費電力は高くなります。エントリーレベルのエッジAIアプリケーション向けには、NvidiaのOrin Nanoが5Wから15Wの消費電力で最大40TOPSを提供しています。ダノン氏は、Hailo-10がGPUベースのソリューションに対して推論性能に優れており、コスト効果と低電力ニーズにより、よりコンパクトなエッジシステムに適していると強調しました。
Hailo-10の初期ターゲット産業
Hailoは、Hailo-10の出荷を2024年第2四半期に開始する際、PCおよび自動車インフォテインメント分野をターゲットにする計画です。ただし、Hailo-10がNvidiaがGR00Tプロジェクトで探求している生成AI搭載ロボットなどのアプリケーションに拡大する時期は不明です。
現在、HailoはNECやBosch、Schneider Electric、Dell、ABB、Foxconnなど、計300社のグローバルパートナーと提携し、コンピューティング、自動車、セキュリティ、インダストリー4.0、小売、ヘルスケアなど多様な分野で活動しています。
まとめとして、Hailoの革新的なHailo-10生成AIアクセラレーターは、エッジコンピューティングを再定義し、既存のソリューションにエネルギー効率の良い選択肢を提供し、さまざまなアプリケーションの能力を向上させる可能性を秘めています。