오늘, Snowflake는 SQL 생성, 코드 작성 및 지침 준수와 같은 복잡한 기업 작업을 위해 제작된 대형 언어 모델(LLM) 아틱(Arctic)을 공개했습니다. "가장 개방적인 기업급 LLM"으로 마케팅되는 아틱은 전문가(MoE) 아키텍처를 혼합하여 기업 작업 부하에 대한 최고 벤치마크를 효율적으로 달성합니다. 세계 지식, 상식, 추론 및 수학적 능력 분야에서 Databricks, Meta 및 Mistral의 표준 모델과 경쟁하는 성능을 보여줍니다.
“이것은 Snowflake에게 중대한 전환점이며, 우리의 AI 연구팀이 혁신의 최전선에 있습니다,”라고 CEO Sridhar Ramaswamy가 말했습니다. “산업 최고의 지능과 효율성을 개방적으로 제공함으로써, 우리는 오픈 소스 AI의 가능성을 넓히고 있습니다. 아틱과의 연구는 고객에게 신뢰할 수 있고 효율적인 AI를 제공하는 능력을 크게 향상시킬 것입니다.”
이번 출시로 Snowflake는 AI 이니셔티브에 공격적인 Databricks와 경쟁하기 위한 전략적 전환을 꾀하고 있습니다. Snowflake의 AI에 대한 집중은 최근 Neeva 인수와 Ramaswamy의 CEO 임명 이후 강화되었습니다.
아틱: 기업 작업 부하를 위한 설계
현대 기업들이 생성적 AI를 수용함에 따라, 검색 보조 생성(RAG) 챗봇, 데이터 코파일럿 및 코드 지원 같은 애플리케이션 개발이 급증하고 있습니다. 많은 모델이 존재하지만, 기업 요구 사항에 특화된 모델은 드물며, 여기서 Snowflake 아틱이 뛰어난 성능을 발휘합니다.
“우리는 AI가 엔드 투 엔드 AI 제품 개발을 촉진할 것이라고 믿습니다. 우리의 비전은 비즈니스 사용자가 데이터와 직접 상호작용할 수 있는 API를 만드는 것이며, 이는 기업 전반에 걸쳐 민주화를 실현하는 것입니다. 아틱은 이 비전을 실현하기 위한 중요한 단계입니다,”라고 Ramaswamy가 최근 브리핑에서 언급했습니다.
아틱은 밀집 MoE 하이브리드 아키텍처를 활용하여 매개변수를 128개의 전문 서브 그룹으로 세분화합니다. 이러한 전문가는 처리에 최적화된 입력 토큰만 처리하며, 쿼리에 응답할 때 4800억 개의 매개변수 중 170억 개만 활성화됩니다. 이 목표 지향적인 접근 방식은 최소한의 컴퓨팅 파워로 높은 성능을 보장합니다.
벤치마크 결과 아틱은 기업 작업을 효과적으로 수행하여 다양한 테스트에서 평균 65% 점수를 기록했습니다. 이 성능은 Llama 3 70B의 평균 기업 점수 70%와 거의 일치하며, Mixtral 8X22B의 70% 다음입니다.
SQL 생성에 대한 Spider 벤치마크에서는 아틱이 79%를 기록하며 Databricks의 DBRX 및 Mixtral 8X7B를 초과하고, Llama 3 70B 및 Mixtral 8X22B에 근접했습니다. 코딩 작업에서는 64.3%를 달성하여 Databricks 및 소형 Mixtral 모델을 초과했지만, Llama 3 70B와 Mixtral 8X22B에는 미치지 못했습니다.
특히, 지침 준수 능력에 대한 IFEval 벤치마크에서 아틱은 52.4%를 기록하며 최신 Mixtral 모델을 제외한 대부분의 경쟁자를 초과했습니다.
효율성 및 비용 효율성
Snowflake는 아틱의 기업 지능 수준이 혁신적인 효율성을 통해 달성되었으며, 훈련 컴퓨팅 예산이 200만 달러 미만이라고 주장합니다. 이는 Llama 3 70B와 같은 다른 모델이 17배 많은 컴퓨팅 자원을 사용한 것에 비해 현저히 적습니다. 또한 아틱의 17개 활성 매개변수 사용은 비용 효율성을 더욱 향상시킵니다.
Apache 2.0 라이선스에 따른 가용성
Snowflake는 아틱을 Cortex를 통해 제공하며, Hugging Face, Lamini, Microsoft Azure, Nvidia API 카탈로그, Perplexity 및 Together와 같은 다양한 모델 카탈로그에서도 액세스할 수 있습니다. 사용자는 Hugging Face에서 Apache 2.0 라이선스에 따라 아틱의 모델 가중치와 코드를 다운로드하여 개인적, 상업적 또는 연구 목적에 제약 없이 활용할 수 있습니다.
모델 출시와 함께 Snowflake는 단일 GPU에서 효율적으로 세부 조정을 위한 데이터 레시피와 모델의 설계 및 교육 과정을 자세히 설명하는 연구 요리책을 제공합니다.
“요리책은 세계적 수준의 MoE 모델에 관심 있는 모든 사람이 학습 곡선을 가속화할 수 있도록 설계되었습니다. 높은 수준의 통찰력과 상세한 기술 사양을 제공하여 사용자가 아틱과 같은 효율적이고 비용 효과적인 LLM을 구성할 수 있도록 돕습니다,”라고 Snowflake의 AI 책임자인 Baris Gultekin이 기자 회견에서 말했습니다.
순위 목록
