皆が注目しているのは、Nvidiaの驚異的な四半期利益が前年比265%の増加を記録したことです。しかし、Silicon Valleyのスタートアップ、Groqを忘れてはいけません。彼らは大規模言語モデル（LLM）の推論、つまり新たなモデルを訓練するのではなく既存のモデルを使って予測を行うプロセスに革新をもたらしています。先週末、Groqは多くのスタートアップが求める注目を浴びました。
エロン・マスクの関連性のない大規模言語モデルGrokに関する投稿ほどセンセーショナルではなかったものの、HyperWriteのCEOマット・シューマーがXでGroqの「ワイルドな技術」について語ったことで、Nvidiaは注目したかもしれません。シューマーは、GroqがMixtralをほぼ500トークン毎秒（tok/s）で処理でき、ほぼ瞬時に応答できる能力を強調しました。
シューマーはまた、Xで「閃光のように速い回答エンジン」を紹介し、「事実に基づき引用された数百の単語で構成された回答を1秒未満で提供」すると述べました。この発言は、ユーザーがLlamaやMistral LLMによって生成された出力を選択できるGroqのチャットアプリケーションへの関心を呼び起こしました。この話題は、GroqのCEOジョナサン・ロスが音声チャットインターフェースのデモを行ったインタビューに続くもので、彼は「スピード記録を破る」という性能を示しました。
現在、Nvidiaの支配に対抗できる企業はなく、高性能チップ市場の80%以上を占めています。SambaNovaやCerebrasなど他のAIチップスタートアップは、AI推論の領域に入ったにもかかわらず、なかなか tractionを得られていません。Nvidiaが第4四半期の収益で220億ドルを報告している中、ロスはGroqを利用することで「超高速」でコスト効果の高い選択肢を提供し、推論に伴う高額な費用を解決できると強調しました。
ロスは自信を持って「年末までには、多くのスタートアップが私たちのインフラを利用することになるでしょう」と述べ、スタートアップに競争力のある価格での利用を呼びかけました。
GroqのLPUとNvidiaのGPU
Groqは、自社の言語処理ユニット（LPU）を、AI言語アプリケーションに必要な迅速な推論のために最適化された画期的なエンドツーエンドの処理ユニットシステムと位置付けています。NvidiaのGPUが並列処理に重点を置くのに対し、GroqのLPUはデータのシーケンス—コードや自然言語—を効率的に管理でき、従来のGPUやCPUが抱える計算密度やメモリ帯域幅の制限を克服することで、より迅速な出力を実現します。
さらに、ロスは、Groqがモデルを訓練しないことで、ユーザーのプライバシーを保持し、チャットクエリを記録しないと強調しました。Groqのチップを使用することで、ChatGPTが従来よりも13倍以上の速度で動作できるとの推定があり、OpenAIが将来的なパートナーになる可能性もあります。ロスは特定の提携について確認しませんでしたが、共通の目標があればパートナーシップが有益であると述べました。
GroqのLPUはAI推論で真のゲームチェンジャーなのか？
私はGroqが「AIレースで勝利する準備ができている米国のチップメーカー」として称賛された昨年12月以来、ロスと話をしたいと思っていました。今、私はGroqのLPUが本当にAI推論でのブレイクスルーなのか、それともPRに過ぎない一時的なトレンドなのかを理解したいと考えています。
ロスはシューマーの投稿を「火花を散らすマッチ」と表現し、24時間以内に3,000人以上がAPIアクセスを求めてきたと述べました。「現時点では無料で利用できるようにしています」と彼は付け加えました。
ロスはスタートアップシーンの新顔ではなく、2016年にGroqを設立する前にGoogleのテンソル処理ユニット（TPU）の共同発明者でした。彼はGroqのアプローチが独自であると説明しました。「車を作る場合、エンジンから始めることも、運転体験から始めることもできます。私たちは運転体験から始め、最初の6ヶ月間を高度なコンパイラ開発に注力しました。」
NvidiaのGPUへの需要はAI業界で急増し、収益性の高い市場を生み出しています。新たなGPUクラウドサービスが登場し、元GitHub CEOのナット・フリードマンがGPUクラスタのマーケットプレイスを前向きに提案しています。報道によれば、OpenAIのCEOSam Altmanは、AIチップの需要に応えるための大規模プロジェクトを計画しており、その価格タグは驚異的で、地政学的な影響もあるとされています。
ロスは現在のGPU状況がGroqの取り組みへの反応であると信じています。「少しの美徳のサイクルがあります」と述べ、Nvidiaが各国との関係を築くことを示唆しました。
アルトマンの7兆ドル規模のAIチップ計画について問われた際、ロスは「私たちなら7000億ドルで実現可能です。我々はお得感があります」と自信を持って答えました。
GroqはAIチップの供給能力を向上させることも目指しています。「年末までには、毎秒2500万トークンの能力を持つ予定で、これは2023年末のOpenAIの能力と見積もっています」と述べ、さまざまな国との能力拡大に向けた議論が進んでいると強調しました。
しかし、Groqは最近の注目の高まりを踏まえたAPI請求の実装など、実用的な課題にも取り組む必要があります。請求に関する計画を尋ねると、ロスは「検討します」と返し、その後、彼のPR担当者が「はい、それが最初のビジネスの一つになるでしょう」と確認しました。
ランキング
