Etched успешно привлекла 120 миллионов долларов для конкуренции с Nvidia на рынке ИИ-микросхем. Компания разрабатывает новую микросхему под названием Sohu, предназначенную для обработки важного аспекта ИИ — трансформерной архитектуры. Интегрируя эту архитектуру непосредственно в свои чипы, Etched утверждает, что создает самые мощные серверы для инференса трансформеров, объявляя Sohu самой быстрой микросхемой для трансформеров, когда-либо созданной.
Это объявление особенно примечательно на фоне недавнего успеха Nvidia, которая обошла Microsoft и стала самой ценной компанией в мире, достигнув оценки в 3,3 триллиона долларов. Etched, поддерживаемая влиятельными инвесторами, такими как Питер Тиль, уверена в способности своей команды из 35 человек конкурировать с Nvidia.
Раунд финансирования, возглавленный Primary Venture Partners и Positive Sum Ventures, привлек институциональных инвесторов, таких как Hummingbird, Fundomo, Fontinalis, Lightscape, Earthshot, Two Sigma Ventures и Skybox Data Centers. Среди известных инвестиционных ангелов — Питер Тиль, Стенли Друкенмиллер, Дэвид Сигел и другие.
Алекс Хенди, директор Thiel Fellowship, отметил: «Инвестирование в Etched является стратегическим вложением в будущее ИИ. Их чипы решают проблемы масштабируемости, которые конкуренты боятся затрагивать, помогая преодолеть стагнацию в отрасли. Основатели олицетворяют нетрадиционные таланты, которые мы поддерживаем, покинувшие Гарвард, чтобы заняться полупроводниковыми вызовами. Они прокладывают путь для инноваций в Силиконовой долине без нагрузки устаревших технологий».
Спрос на мощные графические процессоры продолжает расти. Etched была основана выпускниками Гарварда Робертом Уаченом, Гэвином Уберти и Крисом Чжу, которые с июня 2022 года активно развивают ИИ, делая ставку на трансформерную модель. Исторически разные ИИ-модели, такие как CNN, RNN и U-Nets, занимали важные позиции в своих областях, но трансформеры (буква "T" в ChatGPT) впервые стали масштабируемой ИИ-моделью.
«Мы верим, что интеллект будет продолжать расти вместе с вычислительными мощностями. Наша ставка заключается в том, что компании будут инвестировать миллиарды в ИИ-модели, работающие на специализированных чипах», — сказал CEO Гэвин Уберти в своем блоге. «За последние два года мы разработали Sohu, первую в мире специализированную ASIC для трансформеров. Этот чип не может выполнять традиционные модели ИИ, такие как DLRM для улучшения ленты Instagram или модели сворачивания белков, и не справляется с CNN или RNN. Однако для трансформеров Sohu беспрецедентна по скорости и доступности, значительно превосходя даже будущие GPU Blackwell от Nvidia».
Уберти подчеркнул, что ландшафт ИИ-моделей резко изменился в сторону трансформеров, что продемонстрировано такими разработками, как ChatGPT, Sora, Gemini и Stable Diffusion 3. Если появятся новые архитектуры, такие как SSM или монархи-микшеры, чипы Etched могут утратить актуальность. Однако, если их прогнозы сбудутся, Sohu может полностью изменить правила игры. Компания сотрудничает с TSMC для выпуска на передовом техпроцессе 4 нм.
Etched фокусируется на трансформерах. Специализация — ключ к достижению сверхинтеллекта. За пять лет модели ИИ прошли путь от примитивных форм до превышения человеческих возможностей на стандартизированных тестах за счет роста масштабов. Расход FLOPS для обучения ведущих моделей увеличился в астрономическом масштабе— на 50 000 раз с GPT-2 до Llama-3-400B за пять лет.
Уберти пояснил, что хотя архитектуры ИИ раньше менялись быстро — появлялось множество моделей — современные системы, такие как Llama 3, сильно напоминают своих предшественников вроде GPT-2, лишь с небольшими изменениями. Эта тенденция, вероятно, сохранится. «Все ключевые игроки, включая Google, OpenAI, Amazon и Microsoft, инвестируют более 100 миллиардов долларов в ИИ-центры обработки данных», — отметил Уберти. Несмотря на разногласия в академических кругах, ведущие лаборатории ИИ в основном согласны с тем, что масштабирование больших языковых моделей (LLM) приведет к сверхинтеллекту.
Уберти подчеркнул: «Мы наблюдаем за крупнейшей за всю историю экспансией инфраструктуры. Законы масштабирования показали последовательный успех на протяжении последних десяти порядков величины. Если прогнозы будут верны для следующих четырех порядков, сверхинтеллект станет достижимым, и ИИ-чипы возглавят рыночный спрос».
Гибкие чипы достигли плато. Etched считает, что за последние годы частые изменения в архитектурах моделей, таких как CNN, DLRM и LSTM, доминировали на рынке ИИ, каждая из которых требовала значительных затрат. Общий рынок ИИ-микросхем оценивался от 10 до 20 миллиардов долларов.
Чтобы удовлетворить потребности этого широкого рынка, многие компании разработали универсальные ИИ-чипы для различных архитектур, включая GPU от Nvidia, TPU от Google и Trainium от Amazon. Однако все они struggled с производительностью H100 от Nvidia.
Уберти отметил: «Многие конкуренты заявляют о приростах производительности, комбинируя несколько чипов в одну карту, однако на практике производительность на площадь остается стабильной — проблемы продолжают существовать для всех, кто стремится перейти от GPU».
Etched утверждает, что каждый крупный вычислительный рынок в конечном итоге движется к специализированным чипам, от сетей до майнинга Bitcoin, предлагая огромные преимущества в производительности по сравнению с GPU. Уберти заявил: «Учитывая огромные финансовые ставки в ИИ, специализация неизбежна».
Etched предсказывает, что основное внимание инвестиций будет сосредоточено на моделях, превышающих 10 триллионов параметров, которые, вероятнее всего, будут функционировать из нескольких масштабных облачных дата-центров, что перекликается с тенденциями в производстве чипов, где высокобюджетные, высокоразрешающие заводы замещают меньшие.
«Даже если будет разработана превосходная архитектура, переход от трансформеров сопряжен с серьезными трудностями, поскольку необходимо переделать основную работу по различным техническим аспектам», — добавил он. По мере увеличения сложности моделей ИИ и ростом затрат на обучение спрос на специализированные чипы будет расти, и ранние последователи станут лидерами в области.
Etched готова возглавить рынок. Основатели — Уачен, Уберти и Чжу — утверждают, что до сих пор не были построены чипы ИИ, специфичные для какой-либо архитектуры. Ранее создание таких специализированных чипов требовало значительного спроса и уверенности в их долговечности.
«Мы решили инвестировать в трансформеры, которые стремительно набирают популярность», — говорит Уберти. С учетом растущего спроса на инференс трансформеров, который теперь превышает 5 миллиардов долларов, крупные технологические игроки, включая OpenAI, Google, Amazon и Microsoft, интегрировали трансформерные модели в свою работу.
Уберти отметил, что разные архитектуры значительно консолидировались. Модели, такие как GPT от OpenAI, PaLM от Google и LLaMa от Facebook, по сути, сосредоточены на трансформерах.
«Мы быстро движемся к реализации потенциала Sohu», — подтвердил он. «Мы находимся на пути к самому быстрому циклу разработки валидированного 4 нм чипа. В сотрудничестве с TSMC мы обеспечиваем двойные поставки HBM3E от ведущих поставщиков, гарантируя десятки миллионов резервирований от ИИ-компаний».
Компания также указала на то, что современные ИИ-модели часто слишком дороги и медленны, чтобы эффективно предоставлять продукты, сталкиваясь с такими проблемами, как высокие операционные затраты для ИИ-агентов и медленное время обработки для видео-моделей.
Уберти заключил: «С помощью Sohu мы можем изменить ландшафт. Реальное время видео, аудио, агенты и поисковые возможности теперь реальны, радикально улучшая экономическую целесообразность ИИ-продуктов».
Сможет ли Etched обойти Nvidia? Уникальный подход Etched к параллельной обработке дает компании преимущество на рынке.
В ответ на вопросы о том, как более мелкая компания могла бы затмить Nvidia, COO Роберт Уачен объяснил: «Исторически рынок ИИ-вычислений был раздроблен с множеством активных моделей. Миллиарды были потрачены на модели трансформеров, что указывает на переход к специализации. Хотя наши чипы не будут превосходить GPU в обобщенных задачах, они будут доминировать в инференсе трансформеров, что важно для генеративных ИИ-продуктов».
Эта специализация дает Etched конкурентное преимущество, позволяя ее чипам преуспевать там, где другие не могут.
Рейтинг
