사카나 AI, 진화 알고리즘을 활용하여 생성 모델을 위한 혁신적인 구조를 선보이다.

도쿄에 본사를 둔 스타트업 사카나 AI가 개발한 혁신적인 기술인 진화 모델 병합(Evolutionary Model Merge)은 생성 모델의 자동 생성을 가능하게 합니다. 자연 선택에서 영감을 받은 이 접근 방식은 기존 모델의 요소를 결합하여 더 발전된 버전을 만듭니다.

2023년 8월 구글의 전 전문가인 데이비드 하와 영향력 있는 논문 "Attention Is All You Need"의 공동 저자인 리온 존스와 같은 저명한 AI 연구자들이 공동 설립한 사카나 AI는 생성 AI 혁신의 최전선에 있습니다.

모델 개발 혁신

사카나의 진화 모델 병합 기술은 개발자와 조직이 비용 효율적으로 새로운 모델을 생성하고 탐색할 수 있게 하여, 고가의 독점 모델 훈련과 미세 조정의 필요성을 제거합니다. 이 스타트업은 이 혁신적인 기술로 개발된 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)을 최근에 소개했습니다.

모델 병합 이해하기

생성 모델을 훈련하는 것은 종종 비현실적으로 비싸고 복잡합니다. 그러나 Llama 2 및 Mistral과 같은 오픈 모델의 출현으로, 개발자들은 모델 병합을 활용하고 있습니다. 이는 두 개 이상의 사전 훈련된 모델의 다양한 구성 요소를 결합하여 새로운 모델을 형성하는 방법으로, 새로 병합된 모델이 이전 모델의 강점을 물려받아 추가 훈련 없이도 경제적인 옵션이 됩니다. 현재 Open LLM 리더보드에서 많은 선도적인 모델들이 인기 있는 기반 모델의 병합 변형으로 등장하고 있습니다.

사카나 AI의 연구진은 “활발한 연구자, 해커 및 예술가 커뮤니티가 기존 모델을 미세 조정하고 병합하여 새로운 기반 모델을 적극적으로 개발하고 있습니다.”라고 언급했습니다. Hugging Face에 50만 개 이상의 모델이 제공되며, 모델 병합은 최소한의 비용으로 혁신적인 솔루션을 창출할 수 있는 광범위한 기회를 제공합니다. 물론 상당한 직관과 도메인 지식이 필요합니다.

진화 모델 병합 소개

사카나 AI는 체계적인 접근 방식을 통해 모델 병합 프로세스를 최적화하는 것을 목표로 합니다. 자연 선택을 모방한 최적화 기법인 진화 알고리즘을 활용하여, 진화 모델 병합은 다양한 모델 조합의 가장 효과적인 방식을 식별합니다. 데이비드 하 연구원은 “다양한 기존 모델에서 새로운 모델을 진화시킬 수 있는 능력은 중요한 의미를 가집니다.”라고 강조했습니다. 기초 모델 훈련을 위한 자원 수요가 증가하는 가운데, 이 진화적 접근 방식은 대규모 투자를 하지 않고도 프로토타입 모델을 빠르게 개발하려는 기관이나 정부에 유익할 수 있습니다.

진화 모델 병합은 자동으로 운영되며, 기존 모델의 레이어와 가중치를 평가하여 사용자 요구에 맞는 새로운 아키텍처를 생성합니다.

진화 병합 시연

이 접근 방식의 잠재력을 탐구하기 위해 사카나 AI의 연구진은 진화 모델 병합을 적용하여 수학적 추론이 가능한 일본어 LLM과 일본어 VLM을 생성했습니다. 생성된 모델은 명시적 최적화 없이도 여러 벤치마크를 초과 성과를 냈습니다. 예를 들어, 70억 개의 매개변수를 가진 일본어 수학 LLM인 EvoLLM-JP는 700억 개 매개변수를 가진 경쟁 모델들 앞에서 뛰어난 성능을 보였습니다.

일본어 VLM의 경우, 팀은 LLaVa-1.6-Mistral-7B와 Shisa-Gamma 7B를 병합하여 EvoVLM-JP를 만들어냈으며, 이는 LLaVa-1.6-Mistral-7B와 기존의 JSVLM을 초월하는 성능을 보였습니다. 두 모델은 Hugging Face와 GitHub에서 제공됩니다. 사카나 AI는 이미지 생성 확산 모델을 위한 진화 병합 방법도 조정 중이며, 일본어 프롬프트에 대한 Stable Diffusion XL의 성능 향상을 목표로 하고 있습니다.

사카나 AI의 비전

데이비드 하와 리온 존스가 설립한 사카나 AI는 진화와 집단 지성 같은 자연 영감을 받은 개념을 활용하여 기반 AI 모델을 개발하고자 합니다. 팀은 AI의 미래가 단일 시스템에 국한되지 않고, 다양한 특화된 AI 시스템의 네트워크로 이루어져 협력하고 진화해갈 것이라고 믿습니다.