‘Attention Is All You Need’の創作者がNvidia GTCでトランスフォーマーを超えたAI革新を探る：世界に必要なより良いソリューションとは？

著名な論文「Attention is All You Need」の8人の著者のうち、7人がNvidiaのCEOであるジェンセン・ファン氏と共に、GTCカンファレンスの満員のバンケットホールで対談を行いました。このメンバーには、Character.aiの共同創設者兼CEOのノアム・シャジール、Cohereの共同創設者兼CEOのエイダン・ゴメス、Essential AIの共同創設者兼CEOのアシシュ・ヴァスワニ、Sakana AIの共同創設者兼CTOのリリアン・ジョーンズ、NEAR Protocolの共同創設者イリヤ・ポロスキン、Inceptiveの共同創設者兼CEOのヤコブ・ウスコレイト、OpenAIのテクニカルスタッフのルカシュ・カイザーが含まれます。Essential AIの共同創設者ニキ・パーマーは出席できませんでした。

2017年、Google Brainの8人のチームは、トランスフォーマーと呼ばれるニューラルネットワークの革新を発表しました。これは、従来の再帰的ニューラルネットワークや長短期記憶ネットワークよりも、文脈と言葉の意味をより正確に捉えることができるものでした。トランスフォーマーのアーキテクチャは、GPT-4やChatGPTなどの大規模言語モデル（LLM）の基盤となり、OpenAIのCodexやDeepMindのAlphaFoldなど非言語的な応用にも利用されています。

「トランスフォーマーよりも優れたものが必要」

しかし、トランスフォーマーの創造者たちは、彼らが築いたものを超えて、次のAIモデルに目を向けています。Cohereのゴメスは、「今の世界にはトランスフォーマー以上のものが必要だ」と述べ、「私たちは新たな性能の高みへと導いてくれるものの登場を望んでいる」と語りました。彼は続けて、「次に何が来ると考えますか？」と問いかけ、現状が数年前とあまりにも似通っていることに対する期待を示しました。

パネルディスカッション後のインタビューで、ゴメスはさらに踏み込み、「トランスフォーマーが私たちの手にできる最善のものであるとしたら、本当に悲しいことだ」と述べました。「私は、この論文を提出した翌日からそう思っていました。10倍も優れた別のものに置き換わるのを見たい。それが実現すれば、誰もが10倍優れたモデルを利用できることになります。」

彼は、トランスフォーマーのメモリ部分に多くの非効率があり、アーキテクチャの多くの要素が初期のままであるため再検討すべきだと指摘しました。例えば、非常に長いコンテキストは高コストでスケーラビリティがないと説明しました。「パラメータ化が不必要に大きく、もっと圧縮できるし、重みをより頻繁に共有できるかもしれない。そうすれば、物事は大きく改善されるでしょう。」

「明確に優れている必要がある」

その一方で、彼は他の著者たちも同意する可能性が高いが、「いつそれが実現するかにはバラツキがある」と認めました。「皆、進歩を見たい科学者としての心を持っているのです。」

しかし、パネル内でSakanaのジョーンズは、「AI業界がトランスフォーマーの次のステップに進むためには、ただ単に優れているだけではなく、明確に優れている必要がある」と指摘しました。彼は、「原初のモデルに固執している現状は、その技術的な力が最も強いものではないという矛盾がある」と強調しました。

ゴメスも同様に「トランスフォーマーが人気を得たのは、優れたモデルであったからだけではなく、人々がそれに興奮したからだ」と語りました。「その両方が必要です。どちらかが欠けると、コミュニティを動かすことはできません。だから、新たなアーキテクチャにシフトするためには、人々を興奮させるものを提示する必要があります。」