모두가 Nvidia의 놀라운 수익 발표에 대해 떠들썩하고 있습니다. Nvidia는 지난해 대비 265% 성장했습니다. 하지만 실리콘 밸리의 스타트업 Groq를 간과해서는 안 됩니다. Groq는 대규모 언어 모델(LLM)의 추론을 위한 AI 칩을 혁신하고 있습니다. 지난 주말, Groq는 많은 스타트업들이 꿈꿔온 주목을 받았습니다.
Elon Musk의 포스트처럼 sensational한 사건은 아니었지만, HyperWrite의 CEO인 Matt Shumer가 Groq의 “놀라운 기술”에 대해 X에서 언급했을 때, Nvidia는 주목했을 가능성이 큽니다. Shumer는 Groq가 Mixtral을 거의 500 토큰 초당(tok/s)으로 즉각적인 반응으로 제공할 수 있는 능력을 강조했습니다.
Shumer는 X에서 “번개처럼 빠른 답변 엔진”을 보여주며, “사실에 입각한 인용 답변을 1초도 안 걸려서 수백 단어로 제공한다”고 밝혔습니다. 이로 인해 Groq의 채팅 애플리케이션에 대한 관심이 폭발적으로 증가했습니다. 사용자는 Llama와 Mistral LLMs에 의해 생성된 출력을 선택할 수 있습니다. 이러한 관심은 Groq의 CEO Jonathan Ross가 Groq가 “속도 기록을 경신하는 오디오 채팅 인터페이스”를 지원하는 모습을 보여준 인터뷰 이후 이어졌습니다.
현재 Nvidia는 고급 칩 시장에서 80% 이상의 점유율을 차지하며 지배적인 위치를 유지하고 있습니다. SambaNova와 Cerebras 같은 다른 AI 칩 스타트업들은 AI 추론 분야에 진입했음에도 불구하고 주목받지 못하고 있습니다. Nvidia가 4분기 매출로 220억 달러를 보고하자, Ross는 Groq가 LLM에 최적화된 “초고속”이고 비용 효율적인 옵션을 제공한다고 강조하며, 추론과 관련된 높은 비용 문제를 해결한다고 덧붙였습니다.
Ross는 “올해 말까지 대부분의 스타트업들이 우리 인프라를 사용할 가능성이 높다”고 대담하게 말하며, 스타트업들에게 경쟁력 있는 가격으로 연락하라고 권장했습니다.
Groq의 LPU와 Nvidia의 GPU
Groq는 언어 처리 유닛(LPU)을 AI 언어 애플리케이션을 위한 빠른 추론을 최적화한 혁신적인 엔드 투 엔드 처리 장치 시스템으로 설명합니다. Nvidia의 GPU가 병렬 그래픽 처리에 초점을 맞춘 것과 달리, Groq의 LPU는 데이터 시퀀스(코드 및 자연어 등)를 효율적으로 관리하여 전통적인 GPU와 CPU가 직면한 계산 밀도 및 메모리 대역폭의 한계를 극복하며 더 빠른 출력을 가능하게 합니다.
더군다나 Ross는 Groq가 OpenAI와 같은 회사들과의 차별점을 강조하며, 모델 학습을 하지 않는다고 밝혔습니다. 이는 사용자 프라이버시를 유지하고 채팅 쿼리를 기록하지 않기 위함입니다. Groq 칩을 사용할 경우 ChatGPT가 13배 이상 빠르게 작동할 수 있다는 추정이 나오고 있습니다. OpenAI와의 파트너십 가능성은 있을까요? Ross는 특정 협력을 확인하지는 않았지만, 양측의 목표가 일치하면 협력이 유익할 수 있다고 언급했습니다.
Groq의 LPU는 AI 추론에서 진정한 혁신인가?
지난 12월 Groq가 “AI 경주에서 승리할 가능성이 높은 미국 칩 제조업체”로 소개된 이후, Ross와의 대화를 기대하고 있었습니다. 이제 Groq의 LPU가 AI 추론에서 진정한 breakthrough인지, 아니면 PR 과대포장의 일시적인 유행일 뿐인지 알고 싶었습니다.
Ross는 Shumer의 포스트를 “신호탄”이라 설명하며, 24시간 내에 3,000명이 API 접근 요청을 했다고 했습니다. “현재는 무료로 사용하도록 하고 있습니다”라고 덧붙였습니다.
Ross는 스타트업 세계의 신규 인물이 아닙니다. 그는 2016년 Groq를 창립하기 전에 구글의 텐서 처리 장치(TPU)를 공동 개발했습니다. 그는 Groq의 접근이 독특하다고 설명했습니다: “차를 만들 때, 엔진이나 주행 경험에서 시작할 수 있습니다. 우리는 주행 경험에서 시작했고, 첫 6개월을 정교한 컴파일러 개발에 집중했습니다.”
Nvidia의 GPU에 대한 수요가 급증하면서 AI 산업에서 유리한 시장이 형성되고 있습니다. 새로운 GPU 클라우드 서비스가 등장하고 있으며, 전 GitHub CEO인 Nat Friedman은 GPU 클러스터를 위한 시장을 언급했습니다. OpenAI의 CEO Sam Altman은 막대한 비용과 복잡한 지정학적 함의를 동반하는 대형 프로젝트를 통해 AI 칩 수요를 해결할 계획이라고 보고되고 있습니다.
Ross는 현재 GPU 시장이 Groq의 이니셔티브에 대한 반응의 일환이라고 믿고 있습니다. “소소한 선순환이 있습니다”라고 그는 언급하며, Nvidia의 주권 국가들과의 거래를 자신의 글로벌 협상과 연결했습니다.
Altman의 7조 달러 AI 칩 야망에 대한 질문에 Ross는 자신 있게 말했습니다. “우리는 7천억 달러로 해낼 수 있습니다. 우리는 가성비가 뛰어납니다.”
Groq는 AI 칩 공급 능력을 향상시키는 것도 목표로 하고 있습니다. “[올해 말까지] 우리는 분명히 초당 2500만 토큰의 용량을 갖출 것이며, 이는 우리가 예상하는 OpenAI의 2023년 말 기준입니다”라며, 이 능력을 확장하기 위해 여러 나라와 논의 중임을 강조했습니다.
그러나 Groq는 최근 관심이 폭주함에 따라 API 청구를 구현하는 등의 실제적인 도전에도 직면해야 합니다. 청구 계획에 대해 질문하자, Ross는 “검토하겠습니다”라고 답했고, 그의 PR 대표는 “네, 이는 가장 먼저 처리할 과제 중 하나가 될 것입니다”라고 확인했습니다.
순위 목록
