스테이블 AI, '스몰' 모델 출시: 스테이블LM 제피르 3B 소개

스테이빌리티 AI는 혁신적인 텍스트-이미지 생성 AI 모델로 주목받고 있지만, 이제 새로운 제품군으로 확장하고 있습니다. 오늘 스테이빌리티 AI는 최신 모델인 StableLM 제피르 3B를 공개했습니다. 이 모델은 30억 개의 파라미터로 구성된 대형 언어 모델(LLM)로, 텍스트 생성, 요약, 콘텐츠 개인화 등 다양한 채팅 애플리케이션에 적합하도록 설계되었습니다. StableLM 제피르 3B는 올해 초 출시된 초기 StableLM 텍스트 생성 모델의 최적화된 소형 버전입니다.

StableLM 제피르 3B의 주요 장점은 크기입니다. 70억 개 파라미터 버전보다 작은 덕분에, 더 많은 하드웨어에서 배포할 수 있으며 자원 소모를 줄이면서도 빠른 응답을 보장합니다. 이 모델은 질문 응답 및 교육적 작업에 최적화되었습니다.

“StableLM은 이전 모델보다 더 높은 품질의 데이터로 더 오랜 시간 동안 훈련되었으며, LLaMA v2 7b에 비해 두 배의 토큰을 사용했지만, 크기는 40%에 불과하면서도 성능은 일치합니다.”라고 스테이빌리티 AI의 CEO인 에마드 모스타크는 말했습니다.

StableLM 제피르 3B 소개

StableLM 제피르 3B는 완전히 새로운 모델이 아니라 기존의 StableLM 3B-4e1t 모델의 확장 버전입니다. 이 디자인은 오픈소스 MIT 라이센스 하에 운영되는 HuggingFace의 제피르 7B 모델을 참고하여 작성되었으며, 보조용으로 사용됩니다. 제피르는 직접 선호 최적화(Direct Preference Optimization, DPO)라는 훈련 방식을 사용하며, 이는 StableLM에서도 활용됩니다.

모스타크는 DPO가 이전 모델에서 사용된 강화 학습 기법의 대안 역할을 하며, 인간의 선호도에 더 잘 맞도록 다듬어진다고 설명했습니다. DPO는 일반적으로 대형 모델에 적용되었지만, StableLM 제피르는 30억 개 파라미터 모델에서 이 접근법이 효과적으로 사용된 첫 사례 중 하나입니다.

스테이빌리티 AI는 DPO와 OpenBMB 연구 그룹의 UltraFeedback 데이터셋을 활용하여 64,000개 이상의 프롬프트와 256,000개의 응답을 포함한 조합으로 인상적인 성능 지표를 도출했습니다. 예를 들어, MT Bench 평가에서 StableLM 제피르 3B는 메타의 Llama-2-70b-chat과 앤트로픽의 Claude-V1을 포함한 더 큰 모델을 능가했습니다.

모델 포트폴리오 확장

StableLM 제피르 3B는 스테이빌리티 AI가 지속적으로 제품 범위를 확장하고 있는 가운데 출시된 모델 중 하나입니다. 8월에는 애플리케이션 코드 개발을 위한 StableCode를, 9월에는 텍스트-오디오 생성을 위한 Stable Audio를 출시했습니다. 11월에는 비디오 생성에 진출하는 Stable Video Diffusion의 프리뷰가 공개되었습니다.

이러한 확장에도 불구하고 스테이빌리티 AI는 텍스트-이미지 생성의 뿌리에 충실합니다. 최근에는 주력 제품인 SDXL 텍스트-이미지 안정 확산 모델의 더 빠른 버전인 SDXL 터보를 선보였습니다.

모스타크는 스테이빌리티 AI에서 앞으로도 많은 혁신이 있을 것이라고 강조했습니다. “우리는 사용자 특정 데이터에 맞춰진 작고, 개방적이며, 성능이 뛰어난 모델이 더 큰 일반 모델보다 뛰어날 것이라고 믿습니다.”라고 그는 설명했습니다. “새로운 StableLM 모델의 전체 출시를 기대하며, 생성 언어 모델의 민주화를 더욱 진전시키기를 바랍니다.”