구글 연구: 언어 모델이 스스로 추론능력을 수정하는 데 어려움을 겪는 이유

대형 언어 모델(LLM)은 훈련에 사용되는 데이터의 품질과 범위에 크게 의존합니다. 연구자들은 이러한 모델이 출력 생성 중의 부정확성을 자체적으로 수정할 수 있는 효과적인 방법을 오랫동안 모색해왔습니다. MIT에서 개발된 다중 에이전트 접근 방식과 같은 초기 시도들은 이 분야에서 긍정적인 가능성을 보여주었습니다. 그러나 Google DeepMind의 최근 연구 결과는 LLM이 스스로 교정을 시도할 때 성능이 저하될 수 있음을 밝혔습니다.

“대형 언어 모델은 아직 자체적으로 추론을 수정할 수 없다”라는 제목의 논문에서, Google DeepMind의 연구자들은 LLM의 자체 수정 능력의 한계를 명확히 하기 위해 광범위한 실험을 실시했습니다. 그들의 분석은 중요한 도전을 강조했습니다: 모델이 외부 지침 없이 내부 판단만으로 오류를 수정하려고 할 때 실패하는 경향이 있다는 것입니다. 이는 '오라클'—사전에 결정된 올바른 레이블—에 의해 유도되었을 때 본질적인 자체 수정이 효과적일 수 있다는 이전 연구와는 확연히 다른 결과입니다. 이러한 오라클이 없으면 모델의 정확성이 개선되지 않습니다.

연구진은 LLM이 외부 피드백이 “많은 실제 애플리케이션에서 이용 불가능하기 때문에” 자체 수정 능력을 갖춰야 한다고 강조했습니다.

자체 수정의 도전

LLM이 생성하는 허위 출력인 환각은 이 모델들이 직면한 여러 도전 중 하나입니다. 어떤 시스템도 이러한 부정확성에서 완전히 자유로울 수는 없지만, Gorilla의 AST 트리 방법이나 MIT 연구자들이 탐구 중인 다중 에이전트 접근법과 같은 완화 전략이 존재합니다.

LLM 기반 고객 서비스 챗봇이 잘못된 답변을 제공한 사실을 인지하고 스스로 오류를 수정하는 시나리오를 상상해 보십시오. AI 연구 커뮤니티는 이 시나리오를 현실로 만드는 데 점점 더 집중하고 있습니다. Google 연구원들은 이 목표를 고려했지만, 자체 수정에 기인한 많은 개선은 잘 설계된 피드백에 의해 덮여진 잘못된 초기 프롬프트의 결과일 가능성이 높다고 지적했습니다. “이런 경우, 초기 지침에 피드백을 통합하거나 초기 프롬프트를 다듬는 것이 더 나은 결과와 비용 절감을 가져올 수 있습니다.”라고 그들은 언급했습니다.

그러나 이러한 조정은 LLM이 스스로 완전하게 수정할 수 있도록 하려는 열망을 충족하지는 않습니다. 예를 들어, 모델에게 "이전 답변을 검토하고 오류를 식별하라"고 요청하면, 초기 응답이 정확했더라도 잘못된 결과를 초래할 수 있습니다.

출력의 일관성 탐색

이 연구는 OpenAI의 ChatGPT를 포함한 다양한 모델을 대상으로 코드를 생성하는 벤치마크 테스트를 진행했습니다. 이후 에이전트 기반 시스템이 이들 응답에 대한 오류를 비평하여 자체 수정을 촉진했습니다. 이 과정에서 특정 AI 모델이 동일한 출력을 지속적으로 생성할 수는 없지만, 여러 LLM이 공동으로 일관된 응답에 합의할 수 있음을 밝혔습니다.

연구는 자기 일관성 개념을 강조하며, 관찰된 개선이 자체 수정에서 비롯된 것이 아니라 모델 출력 간의 일관성이 증가한 데서 기인한다고 주장했습니다. 투표 메커니즘이 모델 자체 통찰에 기반한 것인지, 단순한 응답 수치에 기반한 것인지에 따라 차이가 발생합니다. 따라서 무엇이든지 자체 수정으로 분류하려면 다수의 출력을 생성하여 생기는 선택 효과를 배제하는 것이 필수적입니다.

효과적인 자체 수정을 향한 경로

진정한 LLM의 자체 수정은 언제 가능할까요? Google DeepMind는 자체 수정 능력이 안전한 응답 생성을 요구하는 애플리케이션에서 특히 유용할 수 있다고 제안합니다. 이 연구는 Claude의 '헌법 AI' 시스템과 같은 근거 진실 레이블을 통합한 모델들이 LLM이 추론 과정에서 잘못된 응답을 피하는 데 도움을 줄 수 있다고 지적합니다.

현재 LLM은 외부 입력 없이 독립적으로 추론을 스스로 수정할 수 있는 능력이 부족합니다. 연구자들은 이러한 모델이 언젠가 자율적인 자체 수정 능력을 발전시킬 것이라고 생각하는 것은 지나치게 낙관적이라고 표현했습니다. 대신 현재 모델의 개선을 통해 최종적인 자체 수정을 준비하는 것이 필요하다고 주장했습니다.

이 중요한 분야를 발전시키기 위해 연구자들은 자체 수정에 대한 통찰력을 갖추고 그 잠재력을 인식하며 한계를 이해하는 균형 있는 접근 방식을 채택할 것을 촉구하고 있습니다. 이러한 접근법은 LLM이 정확성과 신뢰성을 향상시키는 데 더 잘 대비하도록 하여 다양한 애플리케이션에서 정밀하고 신뢰할 수 있는 도구로 발전하는 데 기여할 것입니다.