스테이블 AI, 스테이블 LM 2 모델의 흥미로운 업데이트로 120억 개의 파라미터를 공개하다.

스테이블리티 AI는 오늘 120억 개의 매개변수를 갖춘 스테이블 LM 2를 도입하며 혁신의 속도를 이어가고 있습니다. 스테이블리티 AI는 텍스트-이미지 기술인 스테이블 디퓨전으로 널리 알려져 있지만, 이 회사는 이미지 생성 이상의 다양한 생성 AI 모델을 포괄합니다.

스테이블 LM은 2023년 4월에 텍스트 콘텐츠를 위한 대형 언어 모델(LLM)로 데뷔했으며, 1.6억 개의 매개변수를 가진 스테이블 LM 2로 1월에 첫 번째 업데이트를 받았습니다. 새롭게 출시된 스테이블 LM 2 12B는 매개변수를 증가시키고 성능을 개선하여, 특정 벤치마크에서 Llama 2 70B와 같은 대형 모델을 능가한다고 회사는 주장합니다.

스테이블 LM 2 12B는 기본 버전과 지시 조정 변형을 포함하여, 영어, 스페인어, 독일어, 이탈리아어, 프랑스어, 포르투갈어, 네덜란드어의 일곱 개 언어로 대화 기술을 향상시키는 데 초점을 맞추고 있습니다. 이러한 모델은 스테이블리티 AI의 멤버십을 통해 상업적 사용이 가능합니다.

“지시 모델은 사용자를 대화 방식으로 참여시키기 위해 특별히 설계되었습니다,”라고 스테이블리티 AI 언어 팀의 수장인 카를로스 리켈메가 말했습니다. “또한, 우리는 안전성을 향상시키는 데 많은 노력을 기울였습니다.”

이번 업데이트는 공동 창립자이자 CEO인 에마드 모스타케의 경영 논란으로 인한 최근 사퇴 이후 이루어졌지만, 임시 공동 CEO인 샨 샨 웡과 크리스천 라포르트 아래에서 회사의 지속적인 추진력을 보여줍니다.

스테이블리티 AI는 스테이블 LM 2를 통해 성능과 접근성을 조화롭게 혼합하는 것을 목표로 하며, 120억 모델이 강력함, 정확성, 사용 편의성의 이상적인 균형을 찾는다고 주장합니다. 120억 개의 매개변수를 통해 일반적으로 훨씬 더 큰 모델이 수행하는 작업을 처리할 수 있습니다. 벤치마크 결과에 따르면, 스테이블 LM 2 12B는 현저하게 더 큰 모델들과 비교했을 때도 뛰어난 성과를 보입니다.

중요하게도, 더 작은 1.6B 모델을 개발하는 데 사용된 방법론이 새로운 12B 버전의 제작에도 적용되었습니다.

“우리는 모델이 고립되지 않고 복잡한 시스템의 일환으로 기능하는 미래를 구상하고 있습니다. 이는 여러 언어 모델과 외부 소프트웨어 도구 간의 상호작용을 가능하게 할 것입니다,”라고 리켈메가 설명했습니다. “12B 모델은 다양한 사용자 요구에 맞는 기능과 API를 연결하고 활용하는 ‘마스터’ 역할을 수행하도록 훈련되었습니다.”

스테이블리티 AI는 이전에 출시된 1.6B 모델도 향상시키고 있습니다. 리켈메는 작은 모델이 특정 작업을 효과적으로 처리할 수 있지만, 더 큰 12B 모델이 더 큰 능력을 제공한다고 지적했습니다. 그럼에도 불구하고 업데이트된 스테이블 LM 2 1.6B는 대화 기술을 개선하고 안전 조치와 다른 소프트웨어 도구와의 호환성을 향상시켰습니다.

“이 모델은 이전 크기를 유지하여 빠르고 경량성을 보장합니다,”라고 리켈메가 강조했습니다. “반면에, 12B 모델은 더 강력하고 신뢰할 수 있지만 더 많은 컴퓨팅 자원을 요구합니다.”

그는 사용 사례와 자원 가용성(응답 시간, 메모리, 예산 등)에 따라 각 모델이 고유한 트레이드오프를 제공한다고 강조했습니다. “모든 시나리오에 최적의 모델 크기가 없다고 믿기 때문에 두 가지 뚜렷한 모델을 제공합니다,”라고 그는 덧붙였습니다.