메타, ‘코드 라마 70B’ 공개: 민간 AI 개발에 도전하는 오픈 소스 강자

메타 AI는 Llama 2의 개발사로, 자연어 프롬프트나 기존 코드 스니펫을 기반으로 파이썬, C++, 자바, PHP 등 다양한 프로그래밍 언어로 코드를 생성할 수 있는 향상된 코드 생성 모델인 Code Llama 70B를 공개했습니다. 이 새로운 모델은 이전보다 더 빠르고 정확하며 효율적인 코드 생성을 약속합니다.

Code Llama 70B는 오늘날 이용 가능한 가장 큰 오픈 소스 코드 생성 AI 모델 중 하나로, 인공지능의 새로운 기준을 설정합니다. 코드 생성은 컴퓨터 과학자들이 소프트웨어 개발을 간소화하고 창의력을 높이기 위해 오랜 기간 동안 추구해온 목표입니다. 사용자는 Code Llama 70B를 통해 코드를 생성하거나 기존 코드를 손쉽게 수정하거나 서로 다른 언어로 코드를 변환할 수 있습니다.

그러나 코드 생성에는 고유한 도전이 있습니다. 자연어의 유연성과 달리, 코딩은 정확성과 엄격한 문법 준수를 요구합니다. 또한, 코딩 작업은 복잡할 수 있으며 광범위한 맥락을 필요로 합니다. Code Llama 70B와 같은 고급 모델은 방대한 데이터 학습, 강력한 컴퓨팅 파워, 정교한 지능을 통해 이러한 문제들을 해결합니다.

Code Llama 70B는 5000억 개의 코드 관련 데이터로 학습된 최첨단 대형 언어 모델(LLM)입니다. 이 학습 덕분에 10만 개의 토큰으로 구성된 넓은 맥락 창이 제공되어 복잡한 코드 구조를 생성하고 이해할 수 있습니다.

Llama 2를 기반으로 하며 1750억 개의 파라미터를 가진 Code Llama 70B는 코드 생성에서 자기 주의(attention)라는 기술을 통해 코드는 물론, 코드 내 관계를 이해하는 능력을 향상시킵니다.

정확성과 적응성에서의 새로운 기준

Code Llama 70B의 두드러진 특징은 자연어 지시 사항을 해석하기 위해 특별히 최적화된 CodeLlama-70B-Instruct입니다. 이 버전은 코드 생성의 기능적 정확도를 평가하는 HumanEval에서 67.8점을 기록하여 CodeGen-16B-Mono(29.3) 및 StarCoder(40.1) 같은 이전 오픈 모델들을 초과하였고, GPT-4(68.2) 및 Gemini Pro(69.4)와 유사한 성과를 보였습니다. CodeLlama-70B-Instruct는 데이터 정렬, 검색, 알고리즘 구현과 같은 작업을 효율적으로 처리합니다.

또한, Code Llama 70B는 세계에서 가장 인기 있는 프로그래밍 언어 중 하나인 파이썬을 위해 특별히 개선된 CodeLlama-70B-Python을 포함합니다. 이 변형은 추가로 1000억 개의 파이썬 코드로 학습되어 웹 스크래핑, 데이터 분석, 머신러닝, 웹 개발 등의 작업에서 뛰어난 성능을 발휘합니다.

연구 및 상업적 사용을 위한 접근 가능성

Code Llama 70B는 Llama 2와 동일한 라이선스 하에 무료로 다운로드할 수 있어 연구자와 상업 사용자들이 자유롭게 활용하고 수정할 수 있습니다. 이 모델은 Hugging Face, PyTorch, TensorFlow, Jupyter Notebook과 같은 플랫폼을 통해 접근할 수 있으며, 메타 AI는 다양한 애플리케이션에 맞게 모델을 조정할 수 있도록 문서와 튜토리얼을 제공합니다.

메타 AI의 CEO인 마크 저커버그는 이번 출시를 기쁘게 생각하며, “우리는 70B 파라미터 모델을 가진 새롭고 개선된 Code Llama를 오픈 소스합니다. 코드 작성과 편집은 현재 AI의 가장 중요한 활용 중 하나입니다. 코딩 능력은 다양한 영역에서 정보를 처리하는 AI 모델의 역량을 향상시키는 데 필수적입니다. 이러한 발전을 Llama 3와 미래 모델에 통합하는 것을 기대합니다.”라고 말했습니다.

Code Llama 70B는 코드 생성 및 소프트웨어 개발 환경에 상당한 영향을 미칠 것으로 기대되며, 코딩 및 학습을 위한 강력한 도구를 제공합니다. 이는 잠재적인 프로그래머들에게 자연어 안내를 제공함으로써 진입 장벽을 낮추고, 코드 번역, 요약, 문서화, 분석, 디버깅과 같은 혁신적인 애플리케이션의 길을 열어줄 것입니다.

Code Llama 70B에 대한 더 많은 정보와 문서는 메타 AI의 채널 및 GitHub, Hugging Face에서 직접 다운로드하세요.