Etched가 인공지능 칩 시장에서 Nvidia에 도전하기 위해 1억 2천만 달러를 성공적으로 모집했습니다. 이 회사는 인공지능 처리의 핵심 요소인 변환기 아키텍처를 다루기 위해 설계된 새로운 칩 Sohu를 개발 중입니다. Etched는 이 아키텍처를 칩에 직접 통합하여 변환기 추론을 위한 가장 강력한 서버를 창출하고 있으며, Sohu를 역대 가장 빠른 변환기 칩이라고 자칭하고 있습니다.
이번 발표는 Nvidia가 최근 Microsoft를 제치고 세계에서 가장 가치 있는 기업으로 등극하여 3.3조 달러의 가치를 기록한 시점에 특히 주목할 만합니다. Peter Thiel과 같은 영향력 있는 투자자들이 지원하는 Etched는 35명으로 구성된 팀이 Nvidia와 경쟁할 수 있다고 확신하고 있습니다. 이번 자금 모집에는 Primary Venture Partners와 Positive Sum Ventures가 주도했으며, Hummingbird, Fundomo, Fontinalis, Lightscape, Earthshot, Two Sigma Ventures, Skybox Data Centers와 같은 기관 투자자들이 참여했습니다.
주요 엔젤 투자자로는 Peter Thiel, Stanley Druckenmiller, David Siegel, Balaji Srinivasan, Amjad Masad, Kyle Vogt, Kevin Hartz, Jason Warner, Thomas Dohmke, Bryan Johnson, Mike Novogratz, Immad Akhund, Jawed Karim, Charlie Cheeve가 있습니다. Thiel Fellowship의 Alex Handy는 “Etched에 대한 투자 결정은 AI의 미래에 대한 전략적 투자입니다. 이들의 칩은 경쟁자들이 다루기를 두려워하는 확장성 문제를 해결하며, 업계의 정체 문제를 극복하는 데 도움을 줍니다. 창립자들은 하버드를 중퇴하고 반도체 도전에 나선 비전통적인 인재들로, 실리콘밸리가 기존 기술의 부담 없이 혁신할 길을 열고 있습니다.”라고 언급했습니다.
강력한 GPU에 대한 수요는 여전히 증가하고 있습니다. Etched는 하버드 중퇴생인 Robert Wachen, Gavin Uberti, Chris Zhu에 의해 설립되었으며, 2022년 6월 이후 변환기 모델의 변혁 가능성에 큰 투자를 해왔습니다. 역사적으로 CNN, RNN, U-Nets와 같은 다양한 AI 모델들이 각자의 분야에서 중요한 역할을 해왔지만, 변환기( ChatGPT의 'T')는 최초의 확장 가능한 AI 모델로부상했습니다.
Gavin Uberti CEO는 블로그 포스트에서 “우리는 지능이 컴퓨팅과 함께 계속 확장될 것이라고 믿습니다. 우리의 베팅은 기업들이 전문화된 칩에서 실행되는 AI 모델에 수십억을 투자할 것이라는 것입니다.”라고 말했습니다. “지난 2년 동안 우리는 세계 최초의 변환기 전용 ASIC인 Sohu를 개발했습니다. 이 칩은 Instagram 피드를 향상시키거나 단백질 접힘 모델과 같은 전통적인 AI 모델을 실행할 수 없으며, CNN이나 RNN을 처리할 수 없습니다. 그러나 변환기 관련해서는 Sohu의 속도와 비용 면에서 타의 추종을 불허하며, 심지어 Nvidia의 차세대 Blackwell GPU를 훨씬 능가합니다.”
Uberti는 AI 모델의 환경이 변환기로 급격히 이동하고 있으며, ChatGPT, Sora, Gemini, Stable Diffusion 3와 같은 발전이 이를 보여준다고 강조했습니다. SSMs나 monarch mixers와 같은 새로운 아키텍처가 등장하더라도, Etched의 칩은 여전히 중요한 역할을 할 것입니다. 만약 그들의 예측이 사실로 드러난다면, Sohu는 게임 체인저가 될 수 있습니다. 이 회사는 TSMC와 협력해 첨단 4nm 노드에서 제조할 예정입니다.
이러한 도전의 이유는 무엇일까요? Etched는 변환기에 집중하고 있습니다. Etched에 따르면, 초지능 달성의 핵심은 규모의 확장에 있습니다. 단 5년 만에 AI 모델은 초기 형태에서 단순화된 테스트에서 인간의 능력을 능가하는 수준으로 발전했으며, 이는 주로 규모의 증가에 의해 촉진되었습니다.
AI 모델을 확장하고 학습 데이터 품질을 개선함으로써 이 시스템들은 상당히 더 똑똑해집니다. 최상위 모델을 훈련하는 데 필요한 FLOPS 양은 GPT-2에서 Llama-3-400B로 5년 동안 5만 배 급증했습니다.
Uberti는 AI 아키텍처가 과거에 비해 급속히 발전했던 반면, 현재의 첨단 시스템인 Llama 3는 GPT-2와 비슷한 모습으로 단지 사소한 조정만으로 재편되고 있다고 설명했습니다. 이러한 추세는 계속 이어질 가능성이 높습니다.
Uberti는 “구글, OpenAI, 아마존, 마이크로소프트를 포함한 모든 주요 기업들이 AI 데이터 센터에 1천억 달러 이상을 투자하고 있습니다.”라고 언급했습니다. 학계에서는 다양한 의견이 존재하지만, 주요 AI 연구소들은 대형 언어 모델(LLMs)에 대한 확장이 초지능으로 나아가는 길임을 대체로 동의하고 있습니다.
Uberti는 또한 “우리는 역사상 가장 큰 인프라 확장을 목격하고 있습니다. 스케일링 법칙은 지난 10승 규모에서 지속적인 성공을 보여주었습니다.”라고 강조했습니다. 만약 다음 4승(최대 $10^{30} FLOPS) 동안 전망이 유지된다면, 초지능은 손에 닿을 수 있으며 AI 칩이 시장 수요를 주도할 것입니다.
유연한 칩들은 한계를 맞이했습니다. 최근 몇 년 동안, CNN, DLRM, LSTM과 같은 모델 아키텍처의 잦은 변화가 AI 분야에서 지배적이었으며, 각각 상당한 비용을 초래했습니다. AI 칩의 전체 시장 규모는 100억 달러에서 200억 달러에 달합니다.
광범위한 시장에 대응하기 위해 많은 기업들이 Nvidia의 GPU, 구글의 TPU, 아마존의 Trainium 등 다양한 아키텍처를 위한 다목적 AI 칩을 개발했습니다. 그러나 모든 기업이 Nvidia의 H100 성능을 따라잡는 데 어려움을 겪었습니다.
Uberti는 "많은 경쟁자들이 여러 칩을 하나의 카드로 결합하여 성능 향상을 주장하지만, 실제로는 면적당 성능이 정체 상태입니다. GPU에서 전환하려는 모든 사람들에게 여전히 도전 과제가 남아 있습니다."라고 언급했습니다.
Etched는 모든 대형 컴퓨팅 시장이 결국 전문화된 칩으로 흘러가게 된다고 주장하며, 이는 네트워킹에서 비트코인 채굴에 이르기까지 기술 성능의 몇 배 향상을 제공합니다. Uberti는 "AI에 대한 막대한 재정적 이해관계 때문에 전문화는 불가피합니다."라고 말했습니다.
Etched는 대부분의 투자가 10조 개 이상의 매개변수를 넘어설 모델에 집중될 것으로 예측하며, 이는 몇 개의 대형 클라우드 데이터 센터에서 운영될 가능성이 높습니다. 이는 반도체 제조에서 고비용 고해상도 시설이 작은 시설을 대체한 추세와 유사합니다.
Uberti는 “우리가 우수한 아키텍처를 개발한다고 하더라도, 변환기에서 벗어나도록 전환하려면 상당한 도전 과제가 남아 있으며, 여러 기술적 측면에서 기초 작업을 다시 해야 합니다.”라고 덧붙였습니다. AI 모델의 복잡성이 증가하고 학습 비용이 증가함에 따라 전문화된 칩에 대한 수요가 커지며, 초기 수용자들이 이 분야의 선두주자가 될 것입니다.
Etched는 선두주자가 되기 위한 위치를 확립했습니다. 창립자인 Wachen, Uberti, Zhu는 "지금까지 아키텍처 특화 AI 칩이 없었다"고 주장합니다. 과거에는 이런 전문화된 칩을 만들기 위해 상당한 수요와 지속 가능성에 대한 확신이 필요했습니다.
Uberti는 "우리는 빠르게 변환기에 투자하고 있으며, 이 분야는 급격히 성장하고 있습니다."라고 말했습니다. 변환기 추론에 대한 수요가 현재 50억 달러를 초과하고 있으며, OpenAI, 구글, 아마존, 마이크로소프트를 포함한 주요 기술 기업들이 변환기 모델을 운영에 통합하고 있습니다.
Uberti는 "특정 아키텍처가 크게 통합되고 있습니다. OpenAI의 GPT 시리즈, 구글의 PaLM, 페이스북의 LLaMa 모델은 주로 변환기를 중심으로 구성되어 있습니다."라고 강조했습니다.
그는 “우리는 Sohu의 잠재력을 실현하기 위해 신속히 발전하고 있습니다.”라고 단언했습니다. “우리는 검증된 4nm 다이에 대한 가장 빠른 개발 주기를 향해 나아가고 있습니다. TSMC와 협력하여 최상위 공급업체들로부터 HBM3E를 이중 조달하고 있으며, AI 기업들로부터 수천만 달러의 예약을 확보하였습니다.”
Etched는 AI 모델이 오늘날 너무 비싸고 느려 제품을 효과적으로 제공하기 어렵다고 지적하면서, AI 코딩 에이전트의 높은 운영 비용과 비디오 모델의 느린 처리 속도와 같은 도전 과제가 있음을 언급했습니다.
Uberti는 "Sohu를 통해 우리는 AI 제품의 경영 가능성을 크게 향상시킬 수 있습니다. 실시간 비디오, 오디오, 에이전트 및 검색 기능이 마침내 실현 가능해지고 있습니다."라고 결론지었습니다.
Etched는 Nvidia를 능가할 수 있을까요?
Etched의 독특한 병렬 처리 접근 방식은 시장에서 특별한 위치를 차지하고 있습니다. COO Robert Wachen은 "역사적으로 AI 컴퓨팅 시장은 파편화되어 많은 모델이 활발히 사용되었습니다. 변환기 모델에 수십억 달러가 투자되어 전문화로의 전환을 나타내고 있습니다. 우리의 칩이 일반 작업에서 GPU보다 우수하진 않지만, 생성형 AI 제품에 필수적인 변환기 추론에서 탁월한 성능을 발휘할 것입니다."라고 설명했습니다.
이러한 전문화는 Etched에게 경쟁 우위를 제공하여, 다른 곳에서는 도달할 수 없는 지점에서 칩이 별로 유명합니다.
순위 목록
