그록(Groq)은 혁신적인 AI 하드웨어 스타트업으로서 주요 기술 기업들의 언어 모델을 능가하는 두 가지 오픈 소스 언어 모델을 출시했습니다. Llama-3-Groq-70B-Tool-Use 모델은 Berkeley Function Calling Leaderboard (BFCL)에서 1위를 차지하며 OpenAI, Google 및 Anthropic의 독점 모델을 초월했습니다.
그록의 프로젝트 리더인 릭 레이머스(Rick Lamers)는 X.com에 게시한 글에서 “Llama 3 Groq Tool Use 8B와 70B 모델 출시를 자랑스럽게 발표합니다. 이 오픈 소스 Tool Use 완전 튜닝은 BFCL에서 1위에 올랐으며, Claude Sonnet 3.5, GPT-4 Turbo, GPT-4o, Gemini 1.5 Pro와 같은 독점 모델을 넘어섭니다.”라고 밝혔습니다.
70B 매개변수를 가진 모델은 BFCL에서 90.76%의 높은 정확도를 달성했으며, 8B 모델은 89.06%로 3위를 기록했습니다. 이러한 결과는 오픈 소스 모델이 특정 작업에서 폐쇄형 대안의 성능을 초과할 수 있음을 보여줍니다.
그록의 모델은 AI 연구 회사인 Glaive와 협력하여 개발되었으며, Meta의 Llama-3 기본 모델에 대해 완전 튜닝 및 Direct Preference Optimization (DPO)을 적용했습니다. 팀은 데이터 프라이버시와 과적합에 대한 우려를 해결하기 위해 윤리적으로 생성된 합성 데이터만을 사용했습니다.
이 개발은 AI 분야에서 중대한 변화를 의미합니다. 합성 데이터만을 사용하여 최고의 성능을 달성함으로써 그록은 고급 AI 모델 개발에 방대한 양의 실제 데이터가 필수적이라는 믿음에 도전하고 있습니다. 이 혁신적인 접근은 개인정보 보호 문제를 완화하고 대규모 데이터 훈련에 수반되는 환경 영향을 줄이는 데 기여할 수 있습니다. 또한, 실제 세계 데이터가 제한적이거나 민감한 분야에서도 전문 AI 모델 개발의 새로운 가능성을 열어줍니다.
그록은 Groq API와 머신러닝 모델을 위한 주요 플랫폼인 Hugging Face를 통해 이 모델을 제공하고 있습니다. 이러한 접근성은 자동화된 코딩 및 데이터 분석과 같은 복잡한 도구 사용 및 기능 호출이 필요한 분야에서 혁신을 촉진할 것입니다.
커뮤니티와의 소통을 위해 그록은 Hugging Face Spaces에서 모델과 상호작용할 수 있는 공개 시연을 시작했습니다. 이 시연은 2021년 12월 Hugging Face에 인수된 Gradio와 협력하여 개발되었으며, 연구자와 개발자들로부터 긍정적인 반응을 얻고 있습니다.
그록의 오픈 소스 전략은 대기업들이 사용하는 폐쇄형 시스템과 뚜렷한 대조를 이루며, 업계 리더들이 더 큰 투명성을 채택하고 AI 개발을 가속화하도록 유도할 가능성이 있습니다. 이러한 고성능 오픈 소스 모델의 출시는 AI 분야에서 그록의 중요한 위치를 확고히 하고 있으며, 연구자, 기업, 정책입안자들이 이 기술의 함의를 검토함에 따라 AI 접근성과 혁신의 가능성이 뚜렷해지고 있습니다. 그록의 성공은 AI 개발 및 배포의 새로운 시대를 여는 신호탄이 될 수 있으며, 고급 기능의 민주화와 더 다양한 혁신 생태계를 조성할 것입니다.