이타마르 아렐(Ittamar Arel), AI 스타트업 Tenyx의 창립자이자 CEO가 독점 인터뷰에서 자연어 처리 분야의 주목할 만한 발전을 공개했습니다. Tenyx는 메타의 오픈 소스 Llama-3 언어 모델을 최적화하여 Tenyx-70B라는 이름으로 부르며, 특정 분야에서 OpenAI의 GPT-4를 초월했습니다. 이는 오픈 소스 모델이 독점 표준을 넘는 첫 사례로 기록됩니다.
"우리는 기본 모델을 원래 훈련을 넘어서 향상시키는 미세 조정 기술을 개발했습니다."라고 아렐은 설명했습니다. "이 접근 방식을 통해 대규모 모델의 중복성을 활용해 지속적 또는 점진적 학습이 가능해질 것에 대해 기대하고 있습니다."
Tenyx의 Llama-3 모델은 수학과 코딩 분야에서 GPT-4보다 뛰어난 성능을 발휘하며, 기본 Llama-3 모델의 모든 능력을 초월합니다. 아렐에 따르면, 이 성취는 오픈 소스 AI의 새로운 시대를 열고 있습니다.
‘파국적 망각’ 문제 해결
Tenyx는 "파국적 망각"의 문제에 대응하고 있습니다. 이는 모델이 새로운 데이터에 노출될 때 이전에 습득한 지식을 잃는 현상입니다. Tenyx는 모델 매개변수의 소수만 선별적으로 업데이트하여 기존 기술을 유지하면서 새로운 정보를 효과적으로 학습합니다.
"모델 매개변수의 5%만 변경하고 나머지는 그대로 두면, 다른 기능 왜곡 없이 더 공격적으로 훈련이 가능합니다." 아렐은 이렇게 언급했습니다. 이 방식으로 Tenyx는 700억 매개변수를 가진 Llama-3 모델을 100개의 GPU를 사용해 단 15시간만에 미세 조정할 수 있습니다.
오픈 소스 AI에 대한 헌신
Tenyx는 최적화된 모델 Tenyx-70B를 원본 Llama-3와 동일한 라이선스 하에 공개하며 오픈 소스 AI를 지지합니다. 아렐은 "우리는 오픈 소스 모델을 믿습니다. 커뮤니티와의 진전을 공유하면 혁신을 촉진하고 모두에게 이익이 됩니다."라고 밝혔습니다.
Tenyx의 후속 훈련 최적화 기술은 전문 챗봇 개발에서부터 배포된 모델의 빈번한 업데이트를 용이하게 해, 최신 정보를 반영할 수 있도록 하는 다양한 응용 프로그램을 제공합니다.
AI 혁신의 패러다임 전환
Tenyx의 혁신은 기업과 연구자들에게 독점 솔루션의 높은 비용 없이 고급 언어 모델에 접근할 수 있는 기회를 제공합니다. 이 진전은 오픈 소스 커뮤니티 내에서 다른 사람들이 Tenyx의 성공을 기반으로 추가 혁신을 촉발할 가능성도 있습니다.
"이는 산업과 OpenAI와 같은 기업에 어떤 의미가 있습니까?" 아렐은 생각에 잠겼습니다. AI 분야의 경쟁이 치열해짐에 따라, Tenyx의 오픈 소스 모델 미세 조정은 산업 역학과 자연어 처리 접근 방식을 재정의할 수 있습니다.
Tenyx 최적화 Llama-3는 기본 모델에서 나타나는 일부 한계를 가진 채로 남아 있지만, 특히 비논리적 반응이 가끔 발생합니다. 그러나 그 개선 사항은 주목할 만합니다. 아렐은 모델이 수학 및 추론에서 약 96%의 정확도를 보이며, 기본 모델의 85%에 비해 뛰어난 성능을 기록했다고 전했습니다.
Tenyx가 오픈 소스 AI 혁신의 새로운 물결을 이끌며, 이들의 돌파구가 AI 생태계에 미치는 장기적인 영향은 앞으로 지켜봐야 할 일입니다. 그러나 Tenyx가 오픈 소스 모델이 독점 모델과 경쟁할 수 있고 심지어 초월할 수 있음을 보여준 것은 분명합니다. 이는 인공지능 분야에서 보다 접근 가능하고 협력적인 미래를 위한 길을 열고 있습니다.
순위 목록
