NvidiaのDrEurekaがロボットシステムトレーニングで人間のパフォーマンスを超える

大規模言語モデル（LLM）は、ロボティクスシステムのトレーニングにおいて革命的な変化をもたらしています。これは、Nvidia、ペンシルベニア大学、そしてテキサス大学オースティン校の最新の研究によって明らかになっています。

この研究では、ドクターエウレカ（DrEureka）という画期的な手法が紹介されています。これは、ロボットシステムの報酬関数とランダム化分布を自動的に作成する技術です。ドクターエウレカは、高レベルなタスクの説明のみで動作し、従来の人間が設計した報酬よりもシミュレーションから現実の応用へと学習したポリシーを移行する際に優れた成果を発揮します。

シミュレーションから現実への移行

ロボティクスの分野では、ポリシーは通常、シミュレーション環境でトレーニングされた後に実世界に展開されます。しかし、これらの学習したポリシーを現実にデプロイする際には、「シミュレーションと現実のギャップ」という課題があり、シミュレーション条件と実際の条件との間で綿密な調整が求められます。最近の進展により、LLMは広範な知識と推論能力を活用し、バーチャルシミュレーターの物理エンジンと組み合わせて複雑な運動スキルを学ぶことができるようになっています。LLMは、強化学習システムを導くための重要な要素である報酬関数を生成し、タスクを達成するための最適な行動シーケンスを特定します。

しかし、学習したポリシーを現実の応用に移行するには、報酬関数やシミュレーションパラメータの労力を要する調整が不可欠です。

ドクターエウレカの解決策

ドクターエウレカは、報酬関数やドメインランダム化（DR）パラメータの設計を自動化し、シミュレーションから現実への移行プロセスを簡素化します。2023年10月に発表されたエウレカ手法を基に、ドクターエウレカはLLMを利用してタスク説明に基づくソフトウェア実装の報酬関数を生成します。これらの報酬関数はシミュレーションでテストされ、その結果に基づいて修正が加えられ、複数の報酬関数の同時最適化を可能にします。

エウレカ手法はシミュレーション環境での強化学習ポリシーのトレーニングをサポートしますが、現実の複雑なシナリオには対応できず、シミュレーションから現実への移行には手動の介入が必要です。ドクターエウレカは、このプロセスをさらに改善し、自動でDRパラメータを設定します。DR手法はシミュレーションに変動性を取り入れ、RLポリシーが現実の不確実性に適応できるようにしますが、適切なパラメータの選択には常識的な物理的推論が必要であり、LLMにとって理想的な挑戦です。

ドクターエウレカの実装

ドクターエウレカは、報酬関数とドメインランダム化を同時に最適化するための多段階アプローチを採用しています。まず、LLMが安全指示とタスク説明に基づいて報酬関数を生成します。モデルはこれらの指示を用いて初期報酬関数を設計し、元のエウレカ手法に似たポリシーを学習します。その後、摩擦や重力などの最適な物理パラメータを特定するためのテストを行い、これに基づいてドメインランダム化の設定選択を行います。ポリシーはこれらの設定で再学習され、現実のノイズに対するロバスト性が向上します。

研究チームは、ドクターエウレカを「最小限の人間の介入でシミュレーションから現実への移行を実現する言語モデル駆動のパイプライン」と位置づけています。

成果

チームは、ドクターエウレカを四足歩行ロボットと巧みな操作を行うロボットプラットフォームで評価しました。その結果、ドクターエウレカを用いてトレーニングされた四足歩行のポリシーは、従来の人間設計のシステムに比べて前進速度で34%、移動距離で20%も上回ることがわかりました。巧みな操作試験では、ドクターエウレカが開発した最良のポリシーが、人間が作成したポリシーに比べて300%多くのキューブの回転を達成しました。

ドクターエウレカの notable な応用の一つには、ロボット犬がヨガボールの上でバランスを保ちながら歩行するケースが含まれます。LLMは報酬関数とDR設定を作成し、現実でのパフォーマンスはシームレスで、追加の調整も必要なく、様々な屋内外の表面で効果的に機能しました。

また、研究はタスク説明に安全指示を含めることが、LLMが生成する指示の論理的一貫性に大きく影響することを明らかにしました。

「私たちは、ドクターエウレカが低レベルなスキル習得の複雑な設計要素を自動化することで、ロボット学習研究を加速させる潜在能力を示していると考えています」と研究者たちは結論づけています。