Metaの生成AIエンジニアリング担当ディレクター、セルゲイ・エドゥノフ氏が、今後1年間におけるAIアプリケーションの需要を満たすために必要な電力に関する驚くべき推定を発表しました。それは、わずか2基の新しい原子力発電所で十分というものです。
Siriコンバレーで開催されたデジタルワーカーズフォーラムのパネルで私がモデレーターを務めた際、Llama 2オープンソース基盤モデルのトレーニングを担当するエドゥノフ氏は、この電力が人類のAIニーズを1年間支えるのに十分であると述べました。彼は、生成AIの増大する電力要件を支えるためのグローバルな能力についての懸念を受けて、「この問題を解決することは十分可能です」とコメントしました。
エドゥノフ氏は、自身の評価が概算に基づいていることを認めつつも、AIの「推論」に必要な電力の合理的な推定を提供していると感じています。推論とは、AIがクエリに応じたり、推奨を行ったりするプロセスで、これはモデルが広範にトレーニングされた後に行われます。
推論に必要な電力は管理可能
エドゥノフ氏は、推論とトレーニングの電力要件を区別しました。彼は、AIアプリケーションが展開される際、推論がほとんどの処理を占めると説明しました。推論に関する彼の計算には、Nvidiaが来年に期待されるH100 GPUの1〜2百万台のリリースが含まれており、これらが平均的な言語モデルからトークンを生成するためにフル稼働すると、地球上の1人当たり約10万トークンを毎日生成することになります。
トークンは、LLMが言語を処理し生成するために使用する基本的なテキスト単位です。この計算に必要なエネルギーは多大で、各H100 GPUは約700ワットを消費します。データセンターや冷却用の追加エネルギーを考慮して、エドゥノフ氏はこの数値を1キロワットに切り上げました。最終的に、すべてのGPUを効果的に動かすためには、わずか2基の原子炉が必要だと結論付けました。「人類の規模では、それほど多くはない」とエドゥノフ氏は述べ、社会が1人当たり1日10万トークンを合理的に支えられる可能性を示唆しました。
生成AIのトレーニング：データの課題
一方で、エドゥノフ氏はLLMのトレーニングには異なる課題があることを強調しました。それは、十分なデータを取得することです。彼は、公開されているインターネット全体が約100兆トークンを含むが、クリーンアップや重複排除を行うと、その数は10〜20兆トークンに大幅に減少する可能性があると推定しています。さらに、高品質なデータを優先する場合、利用可能なトークンはさらに少なくなります。次世代モデルは、前のバージョンよりも正確に言うと、数量的に1桁多くのデータを要求する可能性があることを懸念しています。たとえば、GPT-4が20兆トークンでトレーニングされたとすると、次のモデルは約200兆トークンが必要であり、そのようなデータは簡単には入手できないかもしれません。
エドゥノフ氏は、研究者たちが小さなデータセットからモデルが学習できるように効率性技術を探求していることや、マルチモーダル入力（動画を含む）などの代替データソースを活用する取り組みを行っていることを指摘しました。
パネルからの洞察：データ資源と技術について
エドゥノフ氏は、「トークン生成：GenAI時代の電力」というパネルに、Nvidiaの生成AIディレクター、ニック・スピリン氏やGoogleの生成AIソリューションアーキテクチャ責任者、ケビン・ツァイ氏と共に参加しました。スピリン氏もエドゥノフ氏の考えを支持し、公共インターネット以外にも追加のデータリザーバーが存在することを示唆しました。
スピリン氏は、独立した取り組み間の計算の冗長性を減らすために強力なオープンソースの基盤モデルの必要性を主張しました。この協力的アプローチは、事前にトレーニングされたモデルを活用し、組織がインテリジェントな下流アプリケーションの開発に集中できるようにします。
ツァイ氏は、リトリーバル拡張生成（RAG）などの新興技術が、トレーニングの負担を軽減しながらモデルのパフォーマンスを向上させる可能性があると指摘しました。共同取り組みによって、さまざまなアプリケーションで柔軟に利用できるモデルが生まれることが、持続可能性にとって重要だと信じています。
LLM開発の未来予測
パネルの結論として、私はパネリストに今後2〜3年のLLMの進展についての予測を共有してもらいました。彼らは、LLMの改善の正確な軌道は不確かであるものの、その提供する重要な価値はすでに明らかであり、企業での広範な採用が2年以内に見込まれると指摘しました。
エドゥノフ氏は、人工汎用知能（AGI）の実現可能性について、3〜4年以内に明確な見解が得られるだろうと予測しました。過去の技術トレンドに基づき、スピリン氏は企業がAI技術の導入に初めて慎重になる可能性があるが、2年以内にかなりの価値が現れるだろうと示唆しました。
ツァイ氏は、NvidiaがGPU用の高バンド幅メモリに依存していることが、モデル向上の重要なボトルネックであると指摘しました。しかし、彼はSalesforceのBlib-2プロジェクトのような革新に対して楽観的であり、より小型で効率的なモデルを作成することで、現在の制約を回避する可能性があると述べました。
ランキング
