OpenAI의 새로운 O1 모델 리뷰: 코딩 및 게임 개발에서 뛰어나지만 사실적 지식에서 어려움을 겪다

오픈AI의 최신 "스트로베리" 모델 O1: 혁신적인 추론 능력의 도약

9월 12일, 오픈AI는 오랫동안 기다려온 "스트로베리" 모델 O1의 첫 번째 버전을 예고 없이 출시했습니다. 현재 O1 프리뷰(o1-preview)와 미니(o1-mini) 버전은 ChatGPT Plus 및 Team 구독자에게 제공되고 있으며, Enterprise 및 Edu 사용자들은 다음 주 초에 접근할 수 있게 됩니다. 오픈AI는 궁극적으로 모든 무료 사용자에게 O1-mini를 제공할 계획이지만, 구체적인 날짜는 아직 확정되지 않았습니다.

오픈AI에 따르면, O1 모델은 문제 해결을 인간의 추론 방식과 유사하게 접근하며, 수학, 코딩 및 과학 관련 과제에서 뛰어난 성과를 보입니다.

데일리 이코노믹 뉴스의 한 기자는 o1-preview 모델의 능력을 평가하기 위해 스트로베리 테스트, 코딩, 미니 게임 생성, 수학 및 경제학, 그리고 사실 지식의 다섯 차원에서 테스트를 진행했습니다. 결과는 o1-preview가 이전 오픈AI 모델들보다 프로그래밍 및 수학적 추론에서 뛰어난 성과를 보였고, 원활하게 작동하는 코드를 생성하며 복잡한 문제에서도 자율적으로 솔루션을 도출하는 것을 나타냈습니다. 그러나 사실 지식 평가에서는 성과가 부족했습니다.

O1의 추론 능력

O1 모델은 인간처럼 행동하는 AI를 만들기 위한 오픈AI의 중요한 진전을 나타냅니다. 오픈AI는 이 모델에서 "GPT" 브랜드를 완전히 포기하기로 결정했으며, 이는 본질적으로 새로운 능력을 포함하고 있기 때문입니다. O1은 인간의 추론을 모방하여 문제를 체계적으로 단계별로 해결합니다.

오픈AI의 최고 과학자 자쿱 파호키는 O1이 질문을 받을 때 더 신중한 접근 방식을 보이며, 점진적으로 문제를 분석하고 분해하여 향상된 답변을 제공합니다. 이는 인간의 사고 과정을 반영합니다.

경쟁 프로그래밍 및 수학 분야에서 O1은 최고 성능을 기록하며, 물리학, 생물학, 화학 벤치마크에서의 정확도가 심지어 인간 박사 학위 소지자들을 초과했습니다.

종합 테스트 결과

1. 스트로베리 테스트

기자는 "단어 '스트로베리'에 몇 개의 'r'이 있습니까?"라는 간단한 질문을 테스트했습니다. O1-preview는 예상 외의 정확한 응답을 제공하며 이전 모델들을 능가했습니다.

2. 코딩

프로그래밍 과제로 klasik "Two Sum" 문제를 제시했을 때, o1-preview는 솔루션과 함께 상세한 추론 과정을 제공합니다. 답변 최적화를 요청했을 시, O1은 아홉 초 만에 최적 솔루션을 확인하고 비최적 변형도 함께 제안했습니다.

3. 미니 게임 생성

미니 게임 생성 테스트에서 o1-preview는 19초 만에 Pong 게임 코드와 학습 가이드, 동기 부여 코멘트를 포함하여 원활하게 작동하는 코드를 생성했습니다. 더 복잡한 게임을 만드는 과제에서 O1은 반복하여 흥미로운 점프 게임을 제작, 혁신적인 추론 능력을 보여주었습니다.

4. 과학 테스트

수학 및 경제학 시험에서 o1-preview는 오일러 방정식과 같은 유명한 문제를 위한 기초적인 통찰을 제공하며, 전반적으로 명확한 논리를 유지했습니다. 복잡한 경제 시스템 질문에 대해 O1은 다차원적 사고 및 솔루션을 제시했습니다.

5. 사실 지식

사실 지식 응용에서 o1-preview는 간단한 질문을 잘못 해석하여 퀴즈를 역사적인 사건과 혼동했으나, GPT-4o는 이 영역에서 더 나은 성과를 보였습니다.

결론

결론적으로, 오픈AI의 O1 모델이 인간 수준의 추론에 접근한다는 주장은 과장이 아닙니다. 그 사고 과정은 더 인간적인 언어 사용을 보여주지만, 오픈AI는 여전히 디자인과 텍스트 처리 능력이 GPT-4o에 미치지 못한다고 인정합니다.

O1은 여러 면에서 뛰어난 성능을 발휘하지만, 간단한 요청 처리에서 여전히 성과의 변동을 보입니다. 오픈AI는 향후 업데이트를 통해 이러한 단점을 해결할 것이라고 밝혔으며, 이는 인지 모델의 초기 프리뷰 단계에 불과하다는 점을 강조했습니다.