生成AIの推論を強化:Google DeepMindがGenRMテクノロジーを発表

Google DeepMind、AIの推論能力を向上させる生成型評価モデル「GenRM」を発表

2023年8月27日、Google DeepMindのチームは、新しい生成型評価モデル「GenRM」をarXivに発表しました。このモデルは、生成系AIの推論能力を大幅に向上させることを目的としています。

現在、大規模言語モデル(LLM)の改善には「Best-of-N」アプローチが一般的に用いられています。この手法では、N個の候補解を生成し、評価者がそれらをランキングして最適な選択肢を決定します。しかし、従来のLLM評価者は、主に識別型分類器として機能し、事前学習されたLLMのテキスト生成能力を十分に活用することができていませんでした。

この制約を克服するため、DeepMindチームは次のトークンの予測を用いて評価者を訓練し、検証と解決策生成の両方を統合しました。GenRMは、従来の評価者に比べて以下のような明確な利点を提供します。

- 指示の調整がシームレスに統合

- 思考の連鎖を支持

- 過半数投票による追加推論時間の計算

アルゴリズムや基礎数学の推論を含むタスクにおいて、GenRMはGemmaベースの評価者を用いたテストで識別型評価者や「LLM-as-a-Judge」評価者を上回り、問題解決成功率が16%から64%向上しました。

Google DeepMindは、GenRMがAI報酬システムの重要な進化を示しており、特に新しいモデルのトレーニングにおける欺瞞行為の防止能力を強化することを強調しています。この進展は、AIの出力が社会的責任の基準を満たすために報酬モデルを洗練させる必要性を浮き彫りにしています。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles