OctoAI, 옥토스택 출시: 기업들이 맞춤형 프라이빗 AI 모델을 손쉽게 설정하고 배포할 수 있도록 지원합니다.

시애틀 기반의 OctoAI가 기업이 개인화된 생성 AI 모델을 배포할 수 있도록 설계된 플랫폼 OctoStack을 출시했습니다. 이 턴키 생산 솔루션은 가상 사설 클라우드 또는 온프레미스에서 활용할 수 있으며, 최적화된 추론, 모델 맞춤화, 자산 관리에 대한 접근을 제공합니다. OctoAI는 기업이 특정 요구에 맞춰 생성 AI 애플리케이션을 개발하고 운영할 수 있는 유연성을 제공하는 것을 목표로 하고 있습니다.

“유효하고 미래 지향적인 생성 AI 애플리케이션을 구축하기 위해서는 저렴한 클라우드 추론 이상의 것이 필요합니다.”라고 OctoAI의 CEO인 루이스 세제(Luis Ceze)는 말했습니다. “하드웨어 이동성, 모델 온보딩, 미세 조정 및 로드 밸런싱은 포괄적인 솔루션이 요구되는 전체 스택 과제입니다.”

OctoStack은 메타의 Llama 계열, Mistral의 8x8B 및 Stable Diffusion을 포함한 다양한 오픈 소스 및 상업용 AI 모델의 미세 조정 및 배포를 지원합니다. 그러나 Anthropic의 Claude 모델은 클라우드 전용으로 포함되어 있지 않습니다. “우리는 고객이 완전히 제어하고 맞춤화할 수 있는 고성능 오픈 소스 모델을 제공합니다.”라고 세제는 덧붙였습니다.

완전 관리형 솔루션 vs. 자체 관리형 솔루션

이번 출시 이전에 OctoAI는 자체 최적화 인프라 서비스를 제공했습니다. 세제는 OctoStack이 자체 관리형 솔루션이라고 강조하며, 고객 사용량이 “하루 수십억 개의 토큰”에 이르며 개인 배포 수요가 증가했다고 밝혔습니다. 그는 이를 공유 플랫폼 대신 개인 서버에 블로그를 호스팅하는 것에 비유하며 기업에 대한 데이터 제어의 중요성을 강조했습니다.

“기업이 AI를 점점 더 많이 수용함에 따라 자신들의 관할권 밖으로 API를 통해 데이터를 전송하는 것에 대해 우려하게 됩니다.”라고 세제는 설명했습니다. “OctoStack은 고객이 모델을 선택하고 맞춤화할 수 있도록 하며, 완전히 개인적인 API를 제공합니다. 우리는 모델이 GPU에서 신뢰성과 효율성을 갖출 수 있도록 인프라를 관리합니다.”

수백 개의 고객이 OctoAI의 완전 관리형 솔루션을 이용하고 있지만, 세제는 OctoStack의 사용자 수를 공개하지 않았습니다. 그는 이미 Apate.ai, Otherside AI, Latitude Games 및 CapitalAI와 같은 회사가 생성 AI 도구를 실험하고 있다고 언급하며 이들 기업이 주요 대상이 될 것이라고 밝혔습니다.

기업 내 생성 AI 성장 가능성

기업 시장은 생성 AI 채택을 위한 중요한 기회를 제공합니다. Menlo Ventures의 보고서에 따르면 지난해 이 분야에서 클라우드 소프트웨어에 4천억 달러가 지출되었으며, AI는 700억 달러(18%)를 차지하고, 생성 AI는 단 25억 달러로 1%에도 미치지 못했습니다.

“기업 내 생성 AI에 대한 사용량과 관심이 높으며, CIO의 절반 이상이 공식 배포를 계획하고 있습니다.”라고 Amalgam Insights의 CEO인 박현(Hyoun Park)이 언급했습니다. “그러나 모델 맞춤화 및 미세 조정의 능력은 여전히 제한적입니다.”

Constellation Research의 창립자인 레이 왕(Ray Wang)은 많은 조직이 순수 생성 AI 스택이 없이 다중 공급업체 환경을 최적화하고 있다고 지적했습니다. 그는 OctoStack이 기능을 중앙 집중화하여 배포 프로세스를 간소화한다며 긍정적으로 평가했습니다.

OctoAI는 Nvidia, Databricks 및 SambaNova Systems와 같은 스타트업 및 기존 업체들과 경쟁하고 있습니다. 그러나 세제는 OctoAI의 입장에 여전히 자신감을 보였습니다. “이 공간은 역동적이며, 경쟁이 심화되겠지만, 우리 회사는 기술 간 최적화에 독특하게 집중하므로 차별화됩니다. 이것이 우리의 회사 근본에 해당합니다.”