생성형 AI 코드 생성: Stability AI, Stable Code 3B 출시
Stability AI는 코드 생성을 최적화한 새로운 강력 모델인 Stable Code 3B를 출시하며 생성형 AI 도구의 범위를 확장했습니다. 이번 발표는 2024년의 첫 주요 출시로, 안정적인 확산 기술을 통한 텍스트-이미지 생성 분야에서의 선도적인 평판을 바탕으로 하고 있습니다.
소형이면서도 강력한 성능
3억 개의 매개변수를 가진 Stable Code 3B는 소프트웨어 개발을 위해 설계되었으며, 표준 노트북에서도 원활하게 작동하여 인상적인 코드 완성 기능을 제공합니다. 전용 GPU가 필요 없는 이 소형 모델은 Meta의 CodeLLaMA 7B와 같은 대형 모델과 효과적으로 경쟁합니다.
소형 고성능 모델 경향은 2023년 말 Stability AI에 의해 시작되었으며, 텍스트 생성을 위한 StableLM Zephyr 3B와 같은 출시로 이어졌습니다. Stability AI는 2023년 8월 처음으로 Stable Code를 소개했으며, 이후 지속적인 기능 개선을 진행하고 있습니다.
Stable Code 3B의 개선 사항
Stable Code 3B의 최신 개선 사항은 새로운 코드 라인을 제안하는 것뿐만 아니라, 더 큰 불완전한 섹션을 채워주는 'Fill in the Middle (FIM)'이라는 고급 기능을 구현했습니다.
학습 최적화에서 회전 위치 임베딩(RoPE)을 활용하여 10만 토큰까지 늘어난 문맥 크기를 지원, 인상적인 문맥 길이를 제공합니다. 이 기술은 Meta의 Llama 2 Long과 같은 다른 모델에서도 사용됩니다.
Stable Code 3B는 Stability AI의 Stable LM 3B 자연어 모델을 기반으로 하며, 소프트웨어 공학 데이터를 전문적으로 학습했습니다. 포괄적인 교육 과정에는 코드 저장소, 개발자 포럼, 다양한 기술 자료가 포함되어 18개 프로그래밍 언어(Python, Java, JavaScript, Go, Ruby, C++ 등)에 대한 능숙함을 높였습니다. 초기 벤치마크 결과는 이 모델이 그 크기의 두 배가 넘는 모델들과 같은 수준의 또는 향상된 완성 품질을 보여준다는 것을 시사합니다.
경쟁 환경
생성형 AI 코드 생성 시장은 급속히 발전하고 있으며, 여러 주요 기업들이 있습니다. Meta의 CodeLLaMA 7B와 함께 IBM, HuggingFace, ServiceNow와 협력하여 개발된 StarCoder LLM이 30억 매개변수 분야의 주요 경쟁자로 떠오르고 있습니다. Stability AI는 Stable Code 3B가 Python, C++, JavaScript, Java, PHP, Rust 등의 언어에서 StarCoder보다 우수하다고 주장합니다.
구독 서비스
Stable Code 3B는 Stability AI의 새로운 멤버십 구독 서비스를 통해 상업적으로 이용 가능하며, 이는 12월에 처음 발표되었습니다. 회원은 Stable Code 3B뿐만 아니라 이미지 생성을 위한 SDXL, 텍스트 콘텐츠 생성을 위한 StableLM Zephyr 3B, 오디오 생성을 위한 Stable Audio, 비디오 생성을 위한 Stable Video 등 다양한 AI 도구에 접근할 수 있습니다.