미스트랄, 코드 생성 속도 향상 및 연장을 위한 코드스트랄 맘바 출시

프랑스의 자금이 풍부한 AI 스타트업 Mistral은 고급 오픈 소스 AI 모델로 유명하며, 지난해 연구진이 도입한 혁신적인 Mamba 아키텍처를 기반으로 하는 두 개의 새로운 대형 언어 모델(LLM)인 수학 중심 모델과 개발자를 위한 코드 생성 모델을 출시했습니다.

Mamba는 전통적인 트랜스포머 아키텍처의 주의 메커니즘을 간소화하여 효율성을 향상시키는 것을 목표로 합니다. 이 발전 덕분에 Mamba 기반 모델은 더 빠른 추론 속도를 달성하고 긴 문맥을 지원할 수 있어 일반적인 트랜스포머 모델과 차별화됩니다. AI21을 포함한 다른 기업들도 이 아키텍처를 활용한 AI 모델을 발표했습니다.

Mistral의 새로운 Codestral Mamba 7B는 입력 텍스트가 길어도 빠른 응답 시간을 자랑하며, 이는 지역 코딩 프로젝트에 적합합니다. Mistral의 la Plateforme API에서 사용할 수 있으며, 최대 256,000개의 토큰을 처리할 수 있어 OpenAI의 GPT-4의 두 배 용량을 자랑합니다.

벤치마킹 테스트에서 Codestral Mamba는 CodeLlama 7B, CodeGemma-1.17B, DeepSeek와 같은 여러 경쟁 오픈 소스 모델을 초월했습니다. 개발자들은 GitHub 저장소와 HuggingFace를 통해 코드를 수정하고 배포할 수 있으며, 오픈 소스 Apache 2.0 라이센스 하에 제공합니다. Mistral은 이전 버전의 Codestral이 CodeLlama 70B 및 DeepSeek Coder 33B와 같은 다른 코드 생성기를 초회했다고 주장합니다.

AI 기반 코드 생성 및 코딩 어시스턴트 도구는 필수 애플리케이션으로 자리 잡았으며, GitHub의 Copilot, Amazon의 CodeWhisperer, Codenium과 같은 플랫폼이 주목받고 있습니다.

Mistral의 두 번째 제품인 Mathstral 7B는 수학적 추론 및 과학적 발견에 초점을 맞추고 있으며, Project Numina와 협력하여 개발되었습니다. Mathstral은 32k 문맥 창을 가지고 있으며 Apache 2.0 오픈 소스 라이센스 하에 작동하며, 기존의 모든 수학 추론 모델을 초월했습니다. 특히 대규모 추론 시간 계산이 필요한 벤치마크에서 "상당히 더 나은 결과"를 제공합니다. 사용자는 이를 그대로 사용하거나 특정 요구에 맞게 미세 조정할 수 있습니다.

Mistral은 블로그 포스트에서 “Mathstral은 전문 애플리케이션을 위해 모델을 구성할 때 얻을 수 있는 성능과 속도 간의 훌륭한 균형의 예시입니다. 이는 특히 향상된 미세 조정 능력을 갖춘 la Plateforme에서 우리가 추구하는 철학입니다.”라고 전했습니다.

Mathstral은 Mistral의 la Plateforme와 HuggingFace를 통해 접근 가능합니다. Mistral은 OpenAI 및 Anthropic과 같은 업계 리더들과 경쟁하며, 최근에는 6억 4천만 달러 규모의 B 시리즈 자금을 확보하여 기업 가치를 약 60억 달러로 끌어올렸습니다. 마이크로소프트와 IBM 등 기술 거대 기업들의 투자가 뒤따랐습니다.

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles