레카(Reka)는 샌프란시스코에 본사를 두고 DeepMind, Google, Meta 출신 연구자들이 창립한 AI 스타트업으로, 새로운 다중 모달 언어 모델인 레카 코어(Reka Core)를 출시했습니다. 이 모델은 회사에서 "가장 크고 유능한" 모델로 소개되며, 수천 개의 GPU를 통해 처음부터 훈련되었습니다.
현재 API, 온프레미스 및 장치 배포 옵션을 통해 제공되는 레카 코어는 회사 언어 모델의 세 번째 추가 모델입니다. 텍스트, 이미지, 오디오 및 비디오를 포함한 여러 모달리티를 이해하는 데 뛰어난 성능을 보이며, 1년 이내에 훈련되었음에도 OpenAI, Google 및 Anthropic과 같은 업계 대기업과 견주어도 손색이 없습니다.
레카의 공동 창립자이자 CEO인 다니 요가타마(Dani Yogatama)는 최근 인터뷰에서 "짧은 시간 안에 고성능 모델을 훈련할 수 있는 능력이 우리를 차별화합니다"라고 말했습니다. 레카 코어는 넷플릭스의 “삼체 문제(3 Body Problem)”에서 화면상의 행동을 텍스트로 성공적으로 번역하는 테스트를 받았으며, 최고 과학자이자 공동 창립자인 이 타이(Yi Tay)는 모델 개발에 "수천 개의 H100을 사용했다"고 강조했습니다. OpenAI의 GPT-4와 Anthropic의 Claude 3 Opus와 경쟁하는 것은 쉽지 않지만, 타이는 코어의 성능이 여전히 향상되고 있다고 보장했습니다.
레카 코어의 특징
레카 코어의 정확한 파라미터 수는 밝혀지지 않았지만, "매우 큰 모델"로 설명됩니다(앞서 출시된 레카 플래시(Reka Flash)는 210억 개의 파라미터를 포함). 이 모델은 라이센스된 데이터, 공개 자료와 합성 데이터 등 다양한 소스에서 텍스트, 오디오, 비디오, 이미지 형식으로 훈련되었습니다.
이러한 포괄적인 훈련 덕분에 레카 코어는 다중 모달리티를 처리하고, 수학 및 코딩 등 다양한 분야에서 뛰어난 추론 능력으로 정확하게 응답할 수 있습니다. 32개 언어를 지원하며 128,000 토큰의 광범위한 컨텍스트 윈도우를 갖추고 있어 긴 문서 작업에 적합합니다. 요가타마는 코어가 구글의 제미니 울트라(Gemini Ultra) 이후 모든 모달리티를 포괄하고 고품질 출력을 제공하는 두 번째 모델이라고 언급했습니다.
성능 테스트에서 레카 코어는 비디오 지각에서 제미니 울트라를 초과하여 59.3 점을 기록했습니다. 이미지 작업의 MMMU 벤치마크에서는 56.3 점으로 GPT-4(56.8), Claude 3 Opus(59.4), 제미니 울트라(59.4) 뒤에 이어졌습니다. 반면, 엘론 머스크의 xAI의 비전 기능을 갖춘 그록(Grok) 모델은 53.6 점에 불과했습니다. 독립 평가에서도 레카 코어는 다중 모달 성능에서 두 번째로 높은 순위를 차지했습니다.
또한 코어는 여러 벤치마크에서 저명한 모델의 성능을 맞추거나 초과했습니다. MMLU 지식 테스트에서 83.2 점을 기록하며 GPT-4, Claude 3 Opus 및 제미니 울트라를 가까스로 추격했습니다. 더불어 추론 및 코딩 작업에서는 각각 92.2 점과 76.8 점으로 GPT-4를 초과하는 성과를 보였습니다.
이러한 성과를 짧은 시간 안에 달성하기 위해 회사는 역설계 접근 방식을採용했습니다. 전통적인 모델 훈련 대신, 특정 성능 목표를 설정하고 이를 달성하기 위한 데이터 양과 GPU 요구 사항을 역으로 설계했습니다.
파트너십 및 미래 계획
다중 모달 기능에 초점을 맞추고 경쟁력 있는 가격(입력 토큰 100만 개당 10달러, 출력 토큰 100만 개당 25달러)을 제공하는 레카는 전자상거래, 게임, 헬스케어 및 로보틱스 등 다양한 산업의 사용 사례를 탐색할 계획입니다. 참고로 OpenAI의 GPT-4 Turbo는 입력 토큰에 대해 같은 요금을 부과하지만 출력에 대해 30달러를 청구합니다.
아직 초기 단계에 있지만, 레카는 OpenAI, Anthropic, Google의 시장 지배에 도전하기 위해 적극적으로 작업하고 있습니다. 이 스타트업은 이미 산업 파트너와의 협업을 시작했으며, 예를 들어 Snowflake는 최근 레카 코어와 플래시를 자사 Cortex 서비스에 통합하여 언어 모델 애플리케이션을 개발하고 있습니다. 오라클과 싱가포르의 연구 기관을 통합하는 AI 싱가포르와의 파트너십도 진행 중입니다.
요가타마는 레카 모델(플래시 및 엣지)의 초기 출시 이후 기업의 강력한 관심이 고객 파이프라인의 확대로 이어졌다고 언급했습니다. 파트너십에 대한 자세한 사항은 곧 공개될 예정입니다.
첫 해는 모델 시장 출시를 중심으로 진행된 레카는 서비스 향상과 동시에 사업 운영 규모 확대를 계획하고 있습니다. 팀은 코어의 성능 향상에 힘쓰는 동시에 차기 모델 개발에도 매진하고 있습니다.
지속적인 발전에도 불구하고 요가타마는 회사가 당장 기술을 오픈소스할 계획은 없다고 분명히 밝혔습니다. 그는 오픈소스 원칙을 지지하지만, 지속 가능한 비즈니스 성장을 보장하기 위해 공유할 내용을 균형 있게 조절할 필요성을 강조했습니다.
레카 코어의 경쟁 환경
레카 코어는 경쟁이 치열한 AI 시장에서 떠오르며, 현재 시장의 주요 모델들과 경쟁할 수 있는 유망한 능력을 보여주고 있습니다.
순위 목록
