대규모 언어 모델(LLM) 시대에 기업들은 각자의 독특한 응용 프로그램에 가장 효과적인 모델을 구현하기 위해 열정을 쏟고 있습니다. 그러나 이 작업은 간단해 보이지만, 많은 조직들은 급변하는 환경에서 자신들의 특정 사용 사례에 가장 적합한 솔루션을 찾는 데 큰 어려움을 겪고 있습니다.
여기서 등장하는 것이 스텔스 모드에서 출범한 혁신적인 스타트업, Not Diamond입니다. 이 회사는 스마트 라우팅에 핵심이 있다고 주장합니다. 샌프란시스코에 본사를 둔 Not Diamond는 기업들이 여러 모델을 동시에 활용할 수 있도록 하는 혁신적인 LLM 라우터를 개발하여, 가장 적합한 모델에 쿼리를 전달할 수 있게 합니다. 이 접근 방식은 출력 품질을 향상시키고 지연 시간 및 비용과 같은 중요한 요소를 최적화합니다.
Not Diamond의 공동 창립자이자 CEO인 토마스 에르난도 코프만은 “미래에는 단 하나의 지배적인 모델이나 기업이 존재하지 않을 것이며, 수많은 기본 모델과 무수히 많은 전문화된 변형, 그리고 여러 맞춤형 추론 엔진이 함께 운영될 것입니다. 우리는 이러한 다중 모델 미래를 촉진하기 위해 Not Diamond를 설립하였으며, 모델 간의 라우팅을 위한 세계에서 가장 진보된 인프라를 제공합니다.”라고 말했습니다.
비록 초기 단계에 있지만 Not Diamond는 상당한 관심을 끌며, defy.vc와 AI 커뮤니티의 저명 인사들로부터 230만 달러의 자금을 확보했습니다. 이에는 구글 딥마인드의 제프 딘, 허깅페이스의 줄리앙 쇼몽, 오픈AI의 잭 카스 등이 포함됩니다.
LLM 비용 대비 작업별 성능 문제
현재 대규모 언어 모델의 환경은 복잡하며, 각 모델은 오픈 소스든 독점이든 강점과 약점이 있습니다. 길이가 긴 맥락을 가진 성능 높은 모델을 선택하는 것은 종종 비싼 비용이 따릅니다. 반면, 더 저렴한 선택지는 중요한 기능이 부족하거나 높은 지연 시간을 보일 수 있습니다.
매일 새 모델이 등장하고, 기존 모델은 대규모 업데이트를 받음에 따라 이러한 선택은 더욱 어려워집니다. 특히 Llama 3.1과 같은 오픈 소스 발전의 잠재력이 돋보입니다.
Not Diamond가 기업을 지원하는 방법
코프만은 이전에 코드 없는 AI 제품을 개발하며 LLM 문제를 직접 경험했습니다. 그는 단일 옵션에 의존하는 대신 기업들이 전문화된 모델 네트워크에 접근할 수 있도록 하는 인터페이스의 필요성을 깨달았고, 이 비전을 실현하기 위해 기계 학습 전문가인 정양 둥, 제프리 아키키와 협력하여 Not Diamond를 설립했습니다. 이들은 모델 간의 쿼리를 지능적으로 라우팅하는 인프라를 구축하는 데 초점을 맞췄습니다.
코프만은 “효과적인 라우팅 인프라는 AI 시스템 성능을 극대화하는 데 필수적입니다. 더 작은 전문 모델이 특정 분야에서 더 큰 모델보다 성능이 우수할 수 있으며, 라우팅은 이러한 모델에 일반 모델의 탄력성을 제공합니다. 이 접근 방식은 계산 효율성을 높일 뿐만 아니라, 해석 가능성과 안전성도 향상시킵니다.”라고 설명했습니다.
Not Diamond의 혁신적인 기술
Not Diamond 솔루션의 핵심은 '메타 모델'과 LLM 랭킹 알고리즘입니다. 이 라우터는 들어오는 쿼리를 종합적으로 분석하여, 정확한 응답을 제공하고 비용 효율성을 극대화하며 지연 시간을 최소화할 수 있는 모델로 자동으로 전달합니다. 그 결과, 팀은 간단한 쿼리에 대해 큰 모델을 호출할 필요가 없어집니다.
벤치마크 결과에 따르면, Not Diamond의 라우터는 여러 LLM을 활용하여 Llama 3.1 및 GPT-4와 같은 개별 모델보다 우수한 결과를 제공합니다. 이 기능을 개발하기 위해 Not Diamond는 질문 응답, 코딩, 추론 등을 포함한 다양한 작업에서 LLM 성능을 측정하기 위한 대규모 평가 데이터 세트를 만들었습니다. 그 후, 회사는 각 쿼리에 가장 적합한 LLM을 식별하기 위한 랭킹 알고리즘을 훈련하여 라우팅 프로세스를 추진했습니다.
2023년 12월, Not Diamond는 자사의 라우터의 오픈 소스 미리보기를 출시하며 기업들이 GPT-3.5와 GPT-4 간의 쿼리를 원활하게 관리할 수 있게 했으며, 추가 모델로의 확장 계획도 가지고 있습니다. 또한 팀이 특정 응용 프로그램에 대해 내부 워크플로우에 라우터를 통합하기를 원할 경우, 내부 평가 데이터 세트를 제공하여 맞춤형 라우터 훈련을 최적화할 수 있습니다. 이 라우터는 성능 향상을 위한 데이터 해싱 및 프롬프트 변환 기능도 제공합니다.
개발자 채택 가속화
아직 초기 단계에 있는 Not Diamond는 신생 기업 및 독립 개발자들로부터 상당한 관심을 받고 있습니다. 구체적인 사용자 수는 공개되지 않았지만, 기업 고객인 Samwell AI는 Not Diamond의 기술을 통해 LLM 출력 품질이 10% 향상되고 추론 비용과 지연 시간이 10% 감소했다고 보고했습니다.
업계 리더들의 지원을 받아 회사는 제품 개발을 가속화하고 채택률을 높일 계획입니다. 코프만은 Not Diamond가 “다양한 추가 제품 기능”을 개발 중이라고 강조했으며, 구체적인 내용은 공개되지 않았습니다.
스마트 쿼리 라우팅 분야에서 Not Diamond는 Martian과 Unify와 같은 여러 주목할만한 스타트업과 경쟁하고 있습니다. 그러나 코프만은 Not Diamond가 비범한 라우팅 속도, 프롬프트 최적화 및 개인정보 보호 기능 덕분에 차별화된다고 주장합니다.
순위 목록
