‘Attention Is All You Need’의 창작자들이 Nvidia GTC에서 트랜스포머를 넘은 AI 혁신을 탐구합니다: ‘세상은 더 나은 솔루션이 필요합니다’

'Attention is All You Need' 논문의 8명의 저자 중 7명이 오늘 GTC 컨퍼런스의 붐비는 연회장에서 Nvidia CEO인 Jensen Huang과 첫 회의에 참석했습니다. 이들은 Character.ai의 공동 창립자이자 CEO인 Noam Shazeer, Cohere의 공동 창립자이자 CEO인 Aidan Gomez, Essential AI의 공동 창립자이자 CEO인 Ashish Vaswani, Sakana AI의 공동 창립자이자 CTO인 Llion Jones, NEAR Protocol의 공동 창립자 Illia Polosukhin, Inceptive의 공동 창립자이자 CEO인 Jakob Uskhoreit, OpenAI의 기술 스태프 멤버 Lukasz Kaiser로 구성되어 있으며, Essential AI의 공동 창립자 Niki Parmar는 참석하지 못했습니다.

2017년, Google Brain의 8인 팀은 Transformers라는 신경망 NLP 혁신으로 큰 성공을 거두었습니다. 이는 순환 신경망과 장단기 기억 네트워크보다 더 정확하게 단어의 맥락과 의미를 포착했습니다. Transformer 아키텍처는 GPT-4 및 ChatGPT와 같은 대규모 언어 모델(LLM)의 기초가 되었고, OpenAI의 Codex 및 DeepMind의 AlphaFold와 같은 비언어적 응용 프로그램에도 활용되었습니다.

‘세상은 Transformers보다 더 나은 것을 필요로 한다’

그러나 오늘날 Transformers의 창조자들은 자신들이 만든 것을 넘어서 미래의 AI 모델에 대해 생각하고 있습니다. Cohere의 Gomez는 현재 “세상은 Transformers보다 더 나은 것을 필요로 한다”며, “우리 모두가 더 높은 성능의 새로운 차원으로 나아갈 것을 희망하고 있다”고 전했습니다. 그는 나머지 그룹에게 “다음에는 무엇이 올까요?”라고 질문하며, 현재 있는 기술이 6, 7년 전과 너무 비슷하다고 덧붙였습니다.

패널 논의 후 언론과의 대화에서 Gomez는 “Transformers가 우리가 할 수 있는 최선이라면 정말 슬플 것”이라며, ‘Attention is All You Need’ 논문을 제출한 다음 날부터 그렇게 생각해왔다고 밝혔습니다. “저는 이 모델이 10배 더 나은 것으로 대체되기를 원합니다. 그것은 모두가 10배 더 나은 모델에 접근할 수 있다는 것을 의미하기 때문입니다.”

그는 Transformers의 메모리 측면에서 많은 비효율성이 존재하며, Transformer의 많은 구성 요소가 처음부터 지금까지 변하지 않았기에 “재검토하고 reconsider해야 한다”고 지적했습니다. 예를 들어, 매우 긴 문맥은 비용이 많이 들고 확장성이 떨어진다고 설명했습니다. 또한 “파라미터화가 불필요하게 크고, 압축할 수 있으며, 가중치를 더 자주 공유할 수 있다”고 덧붙였고, 이는 성능을 10배 향상시킬 수 있는 가능성을 제공한다고 강조했습니다.

‘명확하고 분명히 더 나아야 한다’

그는 다른 저자들도 동의할 것이라고 인정하며, “이것이 언제 일어날지에 대한 의견 차이가 있다. 그러나 모두가 더 나아지기를 원한다. 우리는 본질적으로 과학자이기 때문이며, 이는 진전을 원한다는 것을 의미한다”고 밝혔습니다.

그러나 패널 중 Sakana의 Jones는 AI 산업이 Transformers 이후의 다음 단계로 나아가기 위해서는 단순히 더 나을 뿐만 아니라 “확실히 더 나아야 한다”고 강조했습니다. 그는 현재 기술적으로 가장 강력한 것이 아닐 수 있지만, 여전히 원래 모델에 갇혀 있다고 말했습니다.

Gomez는 이에 동의하며, Transformer가 인기를 끌었던 이유는 좋은 모델과 아키텍처뿐만 아니라 사람들이 흥미를 느끼게 했기 때문이라고 말했습니다. 그는 “이 두 가지를 놓치면 커뮤니티를 움직일 수 없다”며, “따라서 아키텍처에서 다른 것으로 이동하려면 사람들을 흥미롭게 할 무언가를 제시해야 한다”고 설명했습니다.