2022년 말, ChatGPT의 출현은 AI 기업과 기술 대기업 간의 경쟁을 촉발했습니다. 이들은 모두 빠르게 성장하는 대형 언어 모델(LLM) 시장에서 선도적인 위치를 차지하고자 했습니다. 이러한 치열한 경쟁에 대응하여 많은 기업이 독점 서비스로 언어 모델을 제공하고, API 접근성을 확보하면서도 기본 모델 가중치 및 훈련 데이터셋과 방법론에 대한 세부 정보를 숨겼습니다.
그러나 2023년에는 오픈 소스 LLM 생태계가 크게 성장하면서 특정 애플리케이션을 위해 다운로드 및 맞춤 설정할 수 있는 모델이 발표되었습니다. 이 발전은 오픈 소스가 LLM 시장의 중요한 플레이어로 자리매김하게 하였고, 독점 솔루션과의 균형을 맞추게 되었습니다.
더 큰 것이 더 나은가?
2023년 이전에는 LLM의 크기를 증가시키는 것이 성능 향상에 필수적이라는 일반적인 믿음이 있었습니다. OpenAI의 1750억 개 매개변수를 가진 GPT-3에 필적하는 오픈 소스 모델인 BLOOM과 OPT가 이를 예시했습니다. 그러나 이러한 대형 모델은 효과적으로 운영하기 위해 상당한 계산 자원과 전문 지식을 요구했습니다.
이 패러다임은 2023년 2월 메타가 70억에서 650억 매개변수의 모음인 Llama를 출시하면서 급격히 전환되었습니다. Llama는 소형 모델이 대형 모델과 동일한 성능을 발휘할 수 있음을 증명하며, 모델 크기가 효과성을 결정하는 유일한 요소가 아님을 지지했습니다. Llama의 성공 비결은 훨씬 더 큰 데이터셋으로 훈련되었다는 점에 있습니다. GPT-3가 약 3000억 개의 토큰을 사용한 반면, Llama 모델은 최대 1.4조 개의 토큰을 처리하여, 작은 모델을 더 방대한 토큰 데이터셋으로 훈련하는 것이 강력한 접근법이 될 수 있음을 보여주었습니다.
오픈 소스 모델의 장점
Llama의 인기는 한 대의 GPU에서 실행할 수 있는 능력과 오픈 소스 배포라는 두 가지 주요 장점에 기인합니다. 이러한 접근성 덕분에 연구 공동체는 Llama의 구조와 발견을 빠르게 발전시킬 수 있었고, Cerebras의 Cerebras-GPT, EleutherAI의 Pythia, MosaicML의 MPT, Salesforce의 X-GEN, TIIUAE의 Falcon 등 여러 주목할 만한 오픈 소스 LLM이 등장하게 되었습니다.
2023년 7월, 메타는 Llama 2를 출시하였고, 이 모델은 빠르게 수많은 파생 모델들의 기초가 되었습니다. Mistral.AI도 Mistral과 Mixtral의 두 모델을 선보이며 성능과 비용 효율성으로 주목받았습니다. Hugging Face의 제품 및 성장 담당 책임자 제프 부디에에 따르면, “원래 Llama 출시 이후 오픈 소스 LLM 시장이 가속화되었고, Mixtral은 이제 인간 평가에서 세 번째로 유용한 모델로 인정받고 있습니다.”
Alpaca, Vicuna, Dolly, Koala와 같은 추가 모델도 이러한 기초 모델을 사용하여 특정 애플리케이션에 맞춰 개발되었습니다. Hugging Face의 데이터에 따르면 개발자들은 수천 개의 포크와 특수 버전을 만들어냈습니다. 특히 “Llama”에 대한 결과가 14,500개, “Mistral”은 3,500개, “Falcon”은 2,400개 이상에 달합니다. Mixtral은 2023년 12월 출시에도 불구하고 이미 150개 프로젝트의 기초로 활용되고 있습니다.
이 모델들의 오픈 소스 특성은 개발자들이 새로운 모델을 만들고 기존 모델을 다양한 구성으로 결합하여 LLM의 실용성을 높이는 혁신을 촉진합니다.
오픈 소스 모델의 미래
독점 모델이 계속 발전함에 따라 오픈 소스 커뮤니티도 강력한 경쟁자로 남아 있습니다. 기술 대기업들은 오픈 소스 모델의 가치를 인식하고 점점 더 많이 자사 제품에 채택하고 있습니다. OpenAI의 주요 후원사인 Microsoft는 Orca와 Phi-2라는 두 가지 오픈 소스 모델을 출시하고 Azure AI Studio 플랫폼 내에서 오픈 소스 모델의 통합을 개선하였습니다. Amazon도 독점 모델과 오픈 소스 모델을 모두 호스팅할 수 있도록 설계된 클라우드 서비스인 Bedrock을 도입했습니다.
“2023년, 기업들은 LLM의 능력에 큰 놀라움을 느꼈고, 특히 ChatGPT의 성공 이후 더욱 그러했습니다.”라고 부디에는 언급했습니다. “CEO들은 자사 팀에 생성적 AI 사용 사례 정의를 지시하며, 폐쇄형 모델 API를 활용한 빠른 실험과 개념 증명 애플리케이션을 촉진했습니다.”
그러나 핵심 기술에 외부 API에 의존하는 것은 민감한 소스 코드와 고객 데이터의 노출 가능성을 포함한 위험을 초래하여 데이터 프라이버시와 보안에 집중하는 비즈니스에 지속 불가능한 장기 전략으로 평가받고 있습니다.
신흥 오픈 소스 생태계는 개인정보 보호 및 규정 준수 요구를 해결하면서 생성적 AI를 구현하려는 기업들에게 유망한 경로를 제공합니다. 부디에는 “AI가 기술 개발을 변화시키면서, 지난 혁신과 마찬가지로 조직들은 고객 정보를 위한 프라이버시, 보안, 규제 준수를 보장하는 AI 솔루션을 내부에서 창출하고 관리해야 할 것입니다.”라고 결론지었습니다. “역사적 추세에 따르면 오픈 소스를 수용하는 것이 암시적일 것입니다.”
순위 목록
