DeepInfra, 스텔스 모드에서 탈출하며 AI 추론 비용 절감을 위해 800만 달러 자금을 확보했습니다.

생성형 AI 활용하기: 비즈니스 리더를 위한 가이드

회사 리더나 IT 의사 결정자라면 생성형 AI에 대한 많은 논의를 접했을 것입니다. 직원이나 고객을 위한 대규모 언어 모델(LLM) 챗봇을 도입할 준비가 되었다면, 가장 중요한 질문이 생깁니다: 어떻게 시작하고, 어떤 비용을 예상해야 할까요?

딥인프라 소개

딥인프라는 전 IMO 메신저 엔지니어들이 설립한 회사로, 비즈니스 리더를 위해 이 과정을 간소화하고자 합니다. 이 회사는 개인 서버에 모델을 배치하는 서비스를 제공하며, 비용은 백만 개 토큰 당 단 1달러로, OpenAI의 GPT-4 Turbo(10달러)와 Anthropic의 Claude 2(11.02달러)에 비해 상당히 저렴합니다.

최근에 공개된 딥인프라는 A.Capital과 Felicis가 이끄는 800만 달러의 초기 투자를 받았으며, Meta의 Llama 2와 CodeLlama를 포함한 오픈 소스 모델 추론 솔루션을 제공하는 데 집중하고 있습니다.

딥인프라의 가치 제안

LLM 훈련에 필요한 GPU 자원에 많은 주목이 쏠리고 있지만, 신뢰할 수 있는 성능을 위한 충분한 컴퓨팅 파워(추론)의 중요성은 간과할 수 없습니다. CEO 니콜라 보리소프는 "진짜 도전은 동일한 하드웨어에서 여러 사용자를 효율적으로 서비스하는 것"이라고 설명합니다.

“서버에 동시에 접근하는 여러 사용자를 관리하는 것이 핵심입니다. 이러한 모델이 생성하는 각 토큰은 상당한 계산과 메모리 대역폭을 필요로 합니다." 따라서 비즈니스는 최적의 성능을 보장하기 위해 효율성을 극대화하여 중복된 컴퓨팅 작업으로 서버가 과부하되지 않도록 해야 합니다. 딥인프라의 설립자들은 전 세계의 대규모 서버 플리트를 관리한 경험을 바탕으로 이러한 문제를 효과적으로 해결하고 있습니다.

최고 투자자들의 추천

보리소프와 그의 공동 창립자들은 프로그래밍 전문성으로 인정받고 있습니다. 잘 알려진 기업가이자 Felicis의 관리 파트너인 아이딘 센컷은 “그들은 incredible한 경험을 가지고 있으며, 수억 명을 지원하는 효율적인 인프라를 구축하는 데 있어 WhatsApp 팀에 이어 두 번째일 수 있습니다.”라고 말했습니다.

이러한 인프라 효율성 덕분에 딥인프라는 서비스 비용을 저렴하게 제공할 수 있어, 기업들이 증가하는 AI 비용에 직면한 상황에서 매력적으로 다가옵니다. 센컷은 “어느 기업이 AI에서 10배의 비용 장점을 얻을 수 있다면, 시장을 크게 변화시킬 수 있습니다.”라고 언급했습니다.

오픈 소스 AI를 위한 SMB 대상

딥인프라의 초기 초점은 적정 가격으로 최신 오픈 소스 언어 및 머신 러닝 모델에 접근하고자 하는 중소기업(SMB)입니다. 보리소프는 “우리의 목표 고객들은 경제적인 부담 없이 최상급 모델에 안정적으로 접근하고자 합니다.”라고 말합니다.

회사는 텍스트 생성, 컴퓨터 비전, 코딩 등 다양한 작업에 전문화된 신흥 모델을 채택할 준비를 하며, 오픈 소스 AI 커뮤니티의 발전을 면밀히 관찰하고 있습니다. 보리소프는 오픈 소스 솔루션의 지속적인 성장과 다양성에 대한 믿음을 표현합니다: “Llama와 같은 모델이 발표됨에 따라, 많은 이들이 최소한의 계산 요구사항으로 자신의 변형 모델을 만들 것이며, 이러한 협력적 생태계를 촉진할 것입니다.”

프라이버시와 보안

딥인프라의 추론 호스팅 서비스는 데이터 프라이버시를 중시하는 기업들에게 특히 매력적입니다. 보리소프는 “우리는 제출한 프롬프트를 저장하거나 활용하지 않으며, 사용자 세션이 종료되면 폐기됩니다.”라고 강조하며 프라이버시 약속을 확실히 합니다.

딥인프라의 서비스를 활용함으로써 기업들은 생성형 AI 솔루션 도입의 복잡성을 효율적이고 비용 효과적으로 극복하여 빠르게 변화하는 시장에서 경쟁력을 유지할 수 있습니다.