오늘, 파리 기반의 AI 스타트업인 Mistral이 지난해 유럽 최대의 시드 라운드로 주목받은 후, 프로그래밍 및 개발 분야에 진출하며 첫 번째 코드 중심 대형 언어 모델(LLM)인 Codestral을 출시했습니다. 현재 비상업적 라이센스 하에 제공되는 Codestral은 220억 개의 파라미터를 가진 오픈-웨이트 생성 AI 모델로, 코드 생성에서 구현까지 다양한 코딩 작업에 우수한 성능을 발휘합니다. Mistral은 이 모델이 80개 이상의 프로그래밍 언어를 지원한다고 전하며, 혁신적인 AI 애플리케이션을 개발하려는 소프트웨어 개발자에게 필수 자원이라고 강조합니다. 또한 Codestral은 CodeLlama 70B와 Deepseek Coder 33B를 포함한 이전 모델들을 초월하며, JetBrains, SourceGraph, LlamaIndex와 같은 업계 리더들에 의해 채택되고 있습니다.
개발자를 위한 고성능 도구
Codestral 22B는 32K의 컨텍스트 길이를 자랑하여 개발자들이 다양한 환경과 프로젝트에서 코드를 효과적으로 다룰 수 있도록 합니다. 80개 이상의 프로그래밍 언어에 대한 데이터셋으로 훈련되어 코드 생성, 함수 완성, 테스트 작성, 부분 코드 보완 등 다양한 코딩 작업에 적합합니다. 지원되는 언어에는 SQL, Python, Java, C, C++ 등 인기 있는 언어는 물론 Swift와 Fortran 같은 특수 언어도 포함되어 있습니다. Mistral은 Codestral이 개발자의 생산성을 향상시키고 워크플로우를 간소화하며, 애플리케이션 개발 시 오류 가능성을 줄이면서 상당한 시간을 절약할 수 있다고 주장합니다. 모델은 이제 막 출시된 상태이며 공개 테스트를 기다리고 있으나, Mistral은 CodeLlama 70B, Deepseek Coder 33B, Llama 3 70B 등 현재 모델들에 비해 대부분의 프로그래밍 언어에서 우수한 성능을 발휘할 것이라고 확신하고 있습니다.
인상적인 성능 지표
RepoBench에서 긴 범위의 리포지토리 수준 파이썬 코드 완성을 평가한 결과, Codestral은 34%의 정확도를 기록하며 모든 경쟁자를 초월했습니다. HumanEval에서 파이썬 코드 생성을 위한 점수는 81.1%, CruxEval의 출력 예측 점수는 51.3%로 뛰어난 성과를 보였습니다. 또한, Bash, Java, PHP의 HumanEval에서도 다른 모델들보다 우수한 성능을 나타냈습니다. C++, C, Typescript에서의 성능은 다소 낮았으나, 모든 테스트에서 평균 61.5%의 점수로 Llama 3 70B의 61.2%를 간신히 초과했습니다. SQL의 Spider 평가에서는 63.5%로 두 번째에 올랐습니다.
LlamaIndex, LangChain, Continue.dev, Tabnine, JetBrains 등 개발자 생산성과 AI 애플리케이션 개발을 위한 저명한 도구들이 Codestral을 테스트하기 시작했습니다. LangChain의 CEO이자 공동 창립자인 해리슨 체이스는 "초기 테스트에서 속도, 유리한 컨텍스트 창, 도구 사용 지원 덕분에 코드 생성 작업에 적합한 옵션입니다. LangGraph와 함께 자가 수정 코드 생성을 테스트했으며, 시작부터 매우 우수한 성능을 보였습니다."라고 전했습니다.
Codestral 사용 시작하기
Mistral은 개발자들이 비상업적 목적으로 기술을 사용할 수 있도록 Hugging Face에 Codestral 22B를 제공하며, 테스트 및 연구 지원을 위한 비생산 라이센스를 제공합니다. 두 개의 API 엔드포인트도 제공되며, codestral.mistral.ai는 IDE 내에서 Instruct 또는 Fill-In-the-Middle 경로를 위한 것이며, 8주 무료 베타 기간 동안 사용자 관리 API 키를 제공합니다. api.mistral.ai는 더 넓은 연구, 배치 쿼리 또는 제3자 애플리케이션 개발을 위해 사용되며, 비용은 토큰당 청구됩니다. 개발자들은 Mistral의 무료 대화형 인터페이스인 Le Chat을 통해 Codestral의 기능을 탐색할 수 있습니다.
Mistral의 Codestral 도입은 기업 연구자들에게 소프트웨어 개발을 가속화할 수 있는 중요한 옵션을 제공하지만, StarCoder2와 같은 최근 출시된 코드 중심 모델 또는 OpenAI 및 아마존의 제품들과의 성능 비교는 아직 지켜봐야 할 부분입니다. OpenAI의 Codex는 GitHub Copilot을 지원하며, 아마존의 CodeWhisper는 주요 경쟁자입니다. 더불어 OpenAI의 ChatGPT는 코딩 도구로 점점 더 많이 사용되고 있으며, GPT-4 Turbo 모델은 Cognition의 반자율 코딩 에이전트인 Devin을 운영합니다. 경쟁 시장에는 여러 소형 AI 코딩 모델을 제공하는 Replit과 최근 6억 달러의 가치로 평가된 Codenium이 포함됩니다.
순위 목록
