Databricks, DBRX를 출시하며 오픈 소스 AI 경쟁에서 빅테크에 대한 강력한 도전장을 내다.

데이터브릭스(Databricks)는 급속히 성장하는 기업 소프트웨어 회사로, 효율성과 성능 기준을 재정립할 획기적인 오픈 소스 인공지능 모델 DBRX를 출시했습니다. DBRX는 1,320억 개의 파라미터를 보유하고 있으며, 언어 이해, 프로그래밍 능력, 수학적 숙련도와 같은 중요한 분야에서 Llama 2-70B 및 Mixtral과 같은 선도적인 오픈 소스 모델을 능가합니다.

비록 DBRX가 OpenAI의 GPT-4의 엄청난 능력에는 미치지 않지만, 데이터브릭스 경영진은 DBRX가 GPT-3.5보다 더 효율적이고 비용 효과적인 대안이 될 것이라고 강조하고 있습니다. 데이터브릭스의 CEO인 알리 고드시(Ali Ghodsi)는 최근 기자 회견에서 "우리는 DBRX를 세상에 소개하고 오픈 소스 AI를 발전시킬 수 있어 기쁩니다. GPT-4와 같은 모델은 훌륭한 범용 도구지만, 우리는 고객의 독점 데이터를 깊이 이해하기 위한 맞춤형 모델을 만드는 데 중점을 두고 있습니다. DBRX는 이러한 우리의 사명을 잘 보여줍니다."라고 말했습니다.

DBRX는 언어 이해(MMLU), 프로그래밍(Human Eval), 수학(GSM 8K) 벤치마크 테스트에서 우수한 성능을 보여줍니다. DBRX는 GPT-4를 초과하지는 않지만, 널리 사용되는 GPT-3.5에 비해 상당한 개선을 이뤘습니다.

DBRX의 주요 특징 중 하나는 혁신적인 '전문가 혼합(mixture-of-experts)' 아키텍처입니다. 경쟁사들과 달리 DBRX는 각 단어 생성을 위해 모든 파라미터를 사용하는 대신, 16개의 전문가 서브 모델을 활용하고 각 토큰에 대해 관련 전문가 4명만 활성화합니다. 이 설계는 동시에 360억 개의 파라미터만을 사용하여 성능을 최적화하며 더 빠르고 비용 효율적인 운영을 가능하게 합니다.

데이터브릭스가 지난해 인수한 모자이크 팀(Mosaic team)은 이전의 Mega-MoE 이니셔티브를 바탕으로 이러한 접근 방식을 선도했습니다. 고드시는 "모자이크 팀은 기본 AI 모델을 효율적으로 훈련시키는 능력을 연마했습니다. 우리는 고품질 AI 모델을 신속하게 생산할 수 있습니다. DBRX는 약 두 달이 걸렸고 비용은 약 1천만 달러였습니다."라고 언급했습니다.

DBRX를 오픈 소스화함으로써 데이터브릭스는 첨단 AI 연구의 선두주자로 자리매김하고, 혁신적인 아키텍처의 광범위한 채택을 촉진하고자 합니다. 이 출시 또한 고객 맞춤형 데이터셋에 최적화된 AI 모델을 구축 및 호스팅하는 데 중점을 둔 데이터브릭스의 핵심 목표와 일치합니다.

현재 많은 데이터브릭스 고객이 여전히 OpenAI의 GPT-3.5와 같은 모델에 의존하고 있습니다. 그러나 민감한 기업 데이터를 위해 제3자 모델을 사용하는 것에 대한 보안 우려가 있습니다. 고드시는 "우리 고객은 전 세계 관할권에 걸쳐 규제된 데이터를 우리에게 신뢰합니다. 그들의 데이터가 이미 데이터브릭스에 있기 때문에 DBRX는 데이터 보안을 보장하면서도 진보된 AI 기능을 제공합니다."라고 설명했습니다.

DBRX는 GPT-4와 직접 경쟁하지 않지만, 언어 이해, 프로그래밍 및 수학 벤치마크에서 GPT-3.5보다 현저히 우수하여 낮은 비용의 오픈 소스 대안으로 자리매김하고 있습니다. DBRX 출시는 Snowflake와 같은 경쟁업체들이 유사한 기능을 도입하고 주요 클라우드 제공업체들이 생성 AI 기능을 강화하는 데이터 및 AI 플랫폼 분야에서 치열해지는 경쟁 속에서 이루어졌습니다.

데이터브릭스는 고급 오픈 소스 연구에서 존재감을 확립하고 최고의 데이터 과학 인재를 유치하고자 합니다. 또한 이 출시를 통해 주요 기술 회사들이 제공하는 상업적 AI 모델에 대한 growing skepticism을 활용할 수 있습니다. DBRX가 진정한 시험대에 설 것은 고객에 대한 채택과 기여 가치입니다. 기업들이 독점 데이터를 контрол하는 동시에 AI를 활용하기를 원함에 따라, 데이터브릭스는 첨단 연구와 강력한 기업 플랫폼의 독특한 조합이 경쟁사와의 차별화 요소가 될 것이라고 믿고 있습니다.

DBRX의 출시는 데이터브릭스가 주요 기술 기업 및 오픈 소스 경쟁사들에게 그 혁신적인 발걸음에 발맞추어 도전하는 계기를 제공하게 됩니다. AI 시장이 더욱 경쟁이 치열해짐에 따라 데이터브릭스는 중요한 플레이어로 자리 잡을 준비가 되어 있습니다.