스타독의 노래방: 기업을 위한 온프레미스 제로 환각 LLM 솔루션

스타독: 혁신적인 AI 솔루션으로 기업 데이터 관리의 선두주자

2006년에 설립되어 버지니아주 알링턴에 본사를 둔 스타독은 기업 데이터 관리와 지식 그래프 분야의 선두주자입니다. 21세기 비즈니스가 데이터에 의해 주도된다는 점을 일찍이 인식한 창립자이자 CEO인 켄달 클락은 디지털화와 즉각적인 접근성의 중요성을 이해했습니다.

현재 스타독은 4천만 달러의 자금을 성공적으로 모금하였고, NASA, 국방부, 레이시온, 보쉬 등 저명한 고객과 협력하고 있습니다. 생성 AI 솔루션의 수요가 증가함에 따라 스타독의 서비스는 다양한 산업의 조직에 점점 더 중요해지고 있습니다.

카라오케 소개: 온프레미스 AI 혁신

엔비디아 및 슈퍼마이크로와 협력하여 스타독은 ‘카라오케’를 출시합니다. 이는 스타독의 보이스박스 대형 언어 모델(LLM) 플랫폼을 호스팅하기 위해 기반 시설에서 구축된 혁신적인 서버입니다. 2023년 10월에 공개된 Llama 2의 전문화된 버전인 이 기업급 솔루션은 사용자가 기술적 전문 지식과 관계없이 자연어 질의를 스타독 클라우드에 제기할 수 있게 합니다. 사용자는 회사의 구조화된 데이터에서 정보를 원활하게 접근할 수 있습니다.

클락은 “규제가 있는 산업에서 대규모 기업이 모든 데이터를 클라우드로 이동하는 것은 종종 불가능합니다. 카라오케는 이 격차를 해소하여 클라우드 기능을 온프레미스 환경에 직접 제공합니다. 기업이 생성 AI를 활용하면서 데이터 접근성을 유지할 수 있게 합니다.”라고 설명합니다.

유연한 서버 구성

카라오케는 500명의 동시 사용자를 수용할 수 있는 소형 마이크로 서버부터 2,304개의 CPU 코어를 갖춘 견고한 엔터프라이즈 모델까지 다양한 크기로 제공됩니다.

보이스박스: 데이터 과학 변환기

보이스박스 LLM은 사용자 문의를 변환하여 “지난 분기에 유로에 대한 어떤 거래가 제재를 위반했습니까?”와 같은 질문을 관련 데이터 과학 쿼리(JavaScript, Python 또는 SQL)로 변경합니다. 이를 통해 스타독의 지식 그래프에서 정확한 데이터를 검색할 수 있습니다.

정확성을 보장하고 환상을 없애기 위해 보이스박스는 안전 RAG(급속 정확성 보증) 설계를 채택합니다. 클락은 “우리는 LLM에서 생성된 답변만 제시하지 않습니다. 사용자에게는 데이터에서 직접 파생된 답변만 표시되어 이를 신뢰할 수 있게 합니다.”라고 강조합니다.

단순히 데이터를 요약하거나 검색하는 것이 아니라, 보이스박스는 데이터 과학자가 작성할 프로그램 형태로 사용자 쿼리를 변환합니다. 쿼리를 해석할 수 없으면 “질문에 대한 답변을 알지 못합니다.”라고 응답합니다.

투명성과 추적 가능성

보이스박스는 사용자가 검색한 정보의 출처를 보여주는 디지털 발자국을 제공합니다. 이 기능은 검증을 강화하여 사용자가 데이터를 신뢰할 수 있도록 합니다. 클락은 “우리 플랫폼은 추적 가능성과 연계를 보장하여 사용자가 답변을 검증하고 데이터의 무결성을 확보할 수 있게 합니다.”라고 강조합니다.

가격 및 이용 가능성

스타독은 보이스박스 LLM 레이어를 사용자당 월 39달러에 제공할 계획이며, 카라오케 박스 없이 클라우드 및 가상 사설 클라우드 환경에서 운영할 수 있습니다. 카라오케 박스의 가격은 사용자 수와 하드웨어 사양에 따라 다르며, 3년에서 5년까지 임대 옵션이 제공됩니다.

규제가 있는 산업에서 생성 AI를 활용하며 컴플라이언스를 유지하려는 기업에게 스타독의 카라오케는 효과적인 솔루션이 됩니다. 기업이 AI 도구를 점점 더 많이 통합함에 따라, 스타독은 온프레미스 생성 AI 애플리케이션의 안전한 배포를 주도할 준비가 되어 있습니다.