메타, 오픈AI의 지배에 도전하는 강력한 오픈 소스 모델 Llama 3.1 출시

메타는 최근 "가장 강력한 오픈소스 기초 모델"로 Llama 3.1을 출시했습니다. 공식 블로그 포스트에 따르면, 이번 출시자는 오픈소스 대형 모델의 발전에 중요한 전환점을 의미하며, AI의 새로운 시대의 시작을 알립니다.

Llama 시리즈는 항상 오픈소스 대형 모델의 최전선에 있어왔으며, 메타는 OpenAI와 함께 오픈소스와 독점 기술의 미래를 상징합니다. Llama 3.1의 출시를 기념하며 메타 CEO 마크 저커버그는 긍정적인 AI 발전을 촉진하는 데 있어 오픈소스의 중요성을 강조하고, 산업 표준으로 오픈소스 AI를 확립할 계획을 발표했습니다.

Llama 3.1은 다양한 응용 프로그램을 위해 8B, 70B, 405B 세 가지 파라미터 크기로 제공되며, 다국어 에이전트, 복잡한 추론, 코딩 지원 등 다양한 용도에 적합합니다. 이 모델은 과거의 8K에서 크게 증가한 128K의 확장된 컨텍스트 창을 자랑하며, 영어, 독일어, 프랑스어 등 여러 언어를 지원합니다. 또한, Wolfram Alpha를 통한 수학적 추론과 검색 엔진 통합을 가능하게 하는 향상된 도구 기능을 제공하며, 사용자가 Llama 3.1을 활용하여 다른 대형 언어 모델(LLM)을 최적화할 수 있는 보다 유연한 라이선스 모델을 제공합니다.

벤치마크 평가에 따르면, Llama 3.1의 405B 파라미터 모델은 GPT-4o, Claude 3.5 Sonnet, Gemini Ultra와 어깨를 나란히 하여 메타의 가장 강력한 모델로 자리잡고 있습니다. 공식 출시 전에 기술 커뮤니티 내에서 벤치마크 결과가 유출되어 Llama 3.1의 뛰어난 능력에 대한 논의가 널리 이루어졌습니다.

특히, 메타는 Llama 3.1의 개발 및 훈련 과정에 대한 92페이지 분량의 기술 문서를 발표하였으며, 이는 150조 개 이상의 토큰과 16,000개의 NVIDIA H100 GPU를 사용하여 훈련되었습니다. 훈련 안정성을 확보하기 위해 메타는 현재 인기 있는 전문가 혼합(MoE) 모델 대신 Transformer 모델 구조를 독점적으로 사용했습니다.

Llama 3.1 출시 이후, 메타는 여러 회사와 빠르게 제휴하여 더 넓은 생태계를 조성하고 있습니다. 아마존, Databricks, NVIDIA와 같은 기업들이 개발자들이 모델을 미세 조정하고 훈련할 수 있도록 지원을 시작했습니다. 중국의 텐센트 클라우드는 Llama 3.1를 TI 플랫폼에 통합하여 관련 튜닝 및 테스트를 진행하고 있습니다.

저커버그는 오픈소스의 중요성에 대해 개발자들이 모델에 대한 제어권을 유지하고 데이터 보안을 확보하며 개발 비용을 절감할 수 있도록 한다고 언급했습니다. 메타에게 오픈소스는 기술 경쟁력을 유지하는 데 필수적입니다. 그는 개방형 생태계가 더 많은 사람들이 AI 기술의 혜택을 누리도록 하여 기술이 몇몇 기업에 집중되는 것을 방지할 것이라고 강조했습니다.

기술 대기업들이 AI 분야에 막대한 투자를 계속하는 가운데 메타는 메타버스에서 AI로 전략적 초점을 이동하고 있으며, Reality Labs 부서의 예산을 조정하여 더 넓은 생성 AI 팀을 지원할 계획입니다. 구글의 모회사인 알파벳 역시 재무 보고서에서 AI 투자에 대한 의지를 강조하며, 주요 기업들이 치열한 AI 환경에서 혁신과 혁신을 위해 경쟁하고 있음을 나타냈습니다.

Llama 3.1의 출시로 오픈소스 AI 기술 경쟁이 한층 더 치열해질 것이며, 주요 기술 회사들이 이 분야의 미래 개발을 위해 노력하고 있습니다.