Etched成功筹集了1.2亿美元,准备在人工智能芯片市场挑战Nvidia。该公司正在开发一款名为Sohu的新芯片,专为处理AI关键技术——变换器架构而设计。Etched表示,通过将这一架构直接集成到其芯片中,Sohu将成为史上最快的变换器芯片,为变换器推理提供了最强大的服务器。
这一声明尤为引人注目,因为Nvidia刚刚超越微软,成为全球最有价值的公司,其市值达到3.3万亿美元。Etched在彼得·蒂尔等具影响力投资者的支持下,对其35人的团队有信心,能够与Nvidia竞争。此次融资由Primary Venture Partners和Positive Sum Ventures领投,吸引了包括Hummingbird、Fundomo、Fontinalis、Lightscape、Earthshot、Two Sigma Ventures和Skybox Data Centers等众多机构投资者。
著名的天使投资者包括彼得·蒂尔、斯坦利·德鲁肯米勒、戴维·西格尔、巴拉吉·斯里尼瓦桑、阿姆贾德·马萨德、凯尔·沃格特、凯文·哈特兹、杰森·沃纳、托马斯·多姆克、布莱恩·约翰逊、迈克·诺沃格拉茨、伊玛德·阿库德、贾韦德·卡里姆和查理·基夫。
蒂尔奖学金主任亚历克斯·汉迪评论说:“投资Etched是对人工智能未来的战略性押注。他们的芯片解决了竞争对手不敢触及的可扩展性问题,有助于打破行业内的停滞。创始人们放弃哈佛学业,直面半导体挑战,体现了我们所支持的不拘一格的人才。他们正在为硅谷在没有传统技术负担的情况下进行创新铺平道路。”
对强大GPU的需求依然在增长。Etched由三位哈佛退学者罗伯特·瓦琴、加文·乌贝尔蒂和朱克里斯于2022年6月创立,他们自此以来坚定押注变换器模型的变革潜力。从CNN、RNN和U-Net等多种AI模型在各自领域中发挥了重要作用,变换器则作为第一个可扩展的AI模型崭露头角。
CEO加文·乌贝尔蒂在博客中表示:“我们相信,随着计算能力的提升,智能将持续扩展。我们的押注是,企业将在专用芯片上投资数十亿美元来运行AI模型。过去两年,我们开发了世界上首个专用变换器ASIC——Sohu。这款芯片不能运行传统AI模型,比如增强Instagram动态的DLRM或蛋白质折叠模型,也无法处理CNN或RNN。然而,在变换器领域,Sohu以其速度和性价比无与伦比,远超Nvidia即将推出的Blackwell GPU。”
乌贝尔蒂强调,AI模型的格局已经发生了戏剧性变化,如ChatGPT、Sora、Gemini和Stable Diffusion 3等新进展均证明了这一态势。如果新的架构出现,如SSM或君主混合器,Etched的芯片可能会失去相关性。然而,如果他们的预测成真,Sohu可能会彻底改变游戏规则。该公司正与台积电合作,在先进的4纳米节点上进行生产。
Etched专注于变换器,认为实现超智能的关键在于规模。在短短五年内,AI模型从简单形式演化至能在标准化测试中超越人类能力,主要得益于规模的提升。通过扩展AI模型和提高训练数据质量,系统变得更智能。对应于领先模型,从GPT-2到Llama-3-400B所需的FLOPS在五年内激增了惊人的五万倍。
乌贝尔蒂解释道,尽管AI架构曾迅速发展,各种模型层出不穷,但目前的最先进系统(如Llama 3)与其前身(如GPT-2)相似,仅进行了微小调整。这个趋势可能会继续下去。
“包括谷歌、OpenAI、亚马逊和微软在内的所有主要参与者,正在对AI数据中心投资超过1000亿美元。”乌贝尔蒂提到。尽管学术界意见不一,主要AI实验室普遍认为,扩大大型语言模型(LLMs)将引导我们走向超智能。
乌贝尔蒂强调:“我们正见证历史上最大规模的基础设施扩展。规模法则在过去的十个数量级中取得了一致的成功(从$10^{16}到$10^{26} FLOPS)。如果未来四个数量级的预测成立(最多到$10^{30} FLOPS),超智能就在眼前,AI芯片将主导市场需求。”
灵活芯片已达到顶部。近年来,模型架构变化频繁,例如CNN、DLRM和LSTM,主导了AI格局,每种模型都带来了可观的成本。整个AI芯片市场额度在100亿到200亿美元之间。
为了满足这一广泛市场,许多公司开发了适用于多种架构的通用AI芯片,包括Nvidia的GPU、谷歌的TPU、亚马逊的Trainium等。但是,所有这些都难以匹敌Nvidia的H100性能。
乌贝尔蒂指出:“许多竞争对手宣称通过将多个芯片组合到单一卡片中获得性能提升,但实际上,单位面积的性能一直停滞不前——任何希望从GPU转型的公司面临挑战。”
Etched坚信,每一个大型计算市场最终都会趋向于专用芯片,从网络到比特币挖矿,其在性能上领先于GPU的优势巨大。乌贝尔蒂表示:“由于AI的巨大经济利益,专业化势在必行。”
Etched预测,大多数投资将集中于超过10万亿参数的模型,这些模型将可能在少数大型云数据中心运行,形成类似于芯片制造中高成本高分辨设施取代小型设施的趋势。
他补充道:“即使出现更优秀的架构,脱离变换器的转型仍然面临重大挑战,因为各种技术细节的基础工作必须重新进行。”随着AI模型复杂性的提高和训练成本的上升,对专用芯片的需求将会增加,使早期采用者在该领域处于领先地位。
Etched的创始人——瓦琴、乌贝尔蒂和朱克里斯——声称,迄今为止尚未构建特定架构的AI芯片。此前,制造此类专用芯片需要大量的需求和对其生命周期的信心。
“我们选择投资变换器,这一领域正在迅速获得关注。”乌贝尔蒂说。
随着对变换器推理的需求现已超过50亿美元,包括OpenAI、谷歌、亚马逊和微软在内的主要科技公司都已将变换器模型融入其业务。
乌贝尔蒂强调,不同的架构已经显著整合。像OpenAI的GPT系列、谷歌的PaLM和Facebook的LLaMa等模型大多围绕变换器展开。
“我们正快速推进,实现Sohu的潜力。”他确认。“我们正朝着最快的开发周期迈进,开发验证4纳米芯片。与台积电合作,我们从顶级供应商双源保证HBM3E,并获得了来自AI公司的数千万预定。”
此外,公司指出,当前AI模型往往过于昂贵和缓慢,难以有效地交付产品,面临着AI编码代理的高运营成本和视频模型处理缓慢等挑战。
乌贝尔蒂总结道:“通过Sohu,我们能够改变格局。实时视频、音频、代理和搜索能力终于触手可及,极大提升了AI产品的经济可行性。”
Etched是否能超越Nvidia?
Etched独特的并行处理方法使其在市场上占据了独特地位。对于如何让一家小型公司超越Nvidia的问题,首席运营官罗伯特·瓦琴解释道:“历史上,AI计算市场高度分散,使用了许多现行模型。数十亿资金已投入变换器模型,表明专业化的转变正在进行。尽管我们的芯片在通用工作负载中不会超过GPU的性能,但在生成AI产品必需的变换器推理方面将占据主导地位。”
这种专业化赋予了Etched竞争优势,使其芯片在其他无法比拟的领域取得卓越表现。