Mistral CEO, 새로운 오픈 소스 AI 모델이 GPT-4 성능에 근접했다는 '유출'을 확인하다.

최근 몇 일간, 오픈소스 AI 커뮤니티는 업계의 빠른 흐름에도 불구하고 대혼란을 겪었습니다.

사건 연대기:

1월 28일, "Miqu Dev"라는 사용자가 오픈소스 AI 모델의 주요 플랫폼인 HuggingFace에 파일 모음을 업로드했습니다. 이 업로드로 "miqu-1-70b"라는 새로운 대형 언어 모델(LLM)이 소개되었습니다. 작성 시점에서도 존재하는 HuggingFace의 항목은 이 LLM이 Mistral이라는 파리의 저명한 AI 회사의 Mixtral 8x7b 모델과 동일한 프롬프트 형식을 사용하고 있다고 강조했습니다. Mixtral은 현재 최고의 성능을 발휘하는 오픈소스 LLM으로 간주되며, Meta의 Llama 2의 세밀하게 조정된 버전입니다.

바이럴 발견:

같은 날, 4chan의 익명의 사용자(아마도 "Miqu Dev")가 miqu-1-70b 파일 링크를 공유했습니다. 이로 인해 사용자는 X(구 Twitter)에서 벤치마크 테스트를 통해 OpenAI의 GPT-4와 경쟁하는 모델의 놀라운 성능에 대해 논의하기 시작했습니다.

커뮤니티 반응:

머신러닝 연구자들은 LinkedIn에서 흥미를 나타냈습니다. JP Morgan & Chase의 ML 과학자 Maxime Labonne은 "Miqu"가 "MIstral QUantized"를 의미하는지 의문을 제기했습니다. 그는 “@152334H 덕분에 우리는 이제 향후 GPT-4보다 더 나은 성능을 보일 수 있는 미쿼의 비양자화 버전을 사용할 수 있게 되었다”고 언급했습니다. 양자화는 AI 모델이 복잡한 수치 시퀀스를 간소화하여 더 낮은 성능의 하드웨어에서 실행될 수 있도록 하는 기술입니다.

추측 및 확인:

"Miqu"가 새로 유출된 Mistral 모델일 수 있다는 추측이 제기되었습니다. Mistral의 공동 창립자이자 CEO인 Arthur Mensch는 X에서 한 early access 고객의 과도한 직원이 그들이 공개적으로 훈련한 오래된 모델의 양자화된 버전을 유출했다고 이론을 확인했습니다. Mensch는 “우리는 클러스터에 접근한 날 Llama 2로 이 모델을 재훈련했습니다”고 설명했습니다. 그는 HuggingFace 게시물의 제거를 요구하기보다, 작성자가 적절한 출처 표기를 고려할 수 있도록 제안했습니다.

AI 환경에 미치는 영향:

Mensch의 "계속 지켜봐 주세요!"라는 언급은 Mistral이 GPT-4와 경쟁할 수 있는 "Miqu" 모델의 개발을 암시합니다. 이는 오픈소스 생성 AI뿐만 아니라 전체 AI 환경에 중대한 전환점을 가져올 수 있습니다. 2023년 3월에 출시된 GPT-4는 현재 가장 발전된 LLM으로 인정받아 Google의 오랫동안 기대된 Gemini 모델조차 초월했습니다.

GPT-4와 유사한 오픈소스 모델의 출현은 OpenAI에 상당한 경쟁 압력을 가할 수 있으며, 기업들이 점점 더 오픈소스와 독점 요소를 결합한 모델을 추구하고 있는 가운데 더욱 주목받고 있습니다. OpenAI는 더 빠른 GPT-4 Turbo와 GPT-4V(비전)로 경쟁 우위를 유지할 수 있지만, 오픈소스 AI 커뮤니티는 빠르게 격차를 좁히고 있습니다. 과연 OpenAI의 선제적인 출발과 독특한 제안이 LLM의 최전선에서 그들을 유지하는 데 충분할까요?