埃隆·马斯克领导着至少六家开创性公司:特斯拉、SpaceX、Starlink、X(前身为Twitter)、Neuralink和xAI。然而,他的目标远不止于此。
今天,在X上,马斯克宣布,xAI——以其大型语言模型(LLMs)Grok和可供付费订阅者使用的聊天机器人而闻名——已在田纳西州孟菲斯超级集群开始培训,该集群被誉为“世界上最强大的AI训练集群”。
据当地新闻媒体WREG报道,孟菲斯超级集群位于该市西南部,是该地区历史上最大的市场新进入者资本投资。但目前xAI尚未与田纳西河谷管理局签订合同,而该合同是为超过100兆瓦项目提供电力所必需的。
配备Nvidia GPU
马斯克透露,超级集群配备了100,000个液冷Nvidia H100图形处理单元(GPU),这一设备受到包括马斯克在内的AI开发者广泛追捧。值得注意的是,这个集群使用单一的远程直接内存访问(RDMA)网络,高效地在计算节点之间传输数据,而不会给中央处理单元(CPU)造成负担。
xAI瞄准2024年前沿AI
xAI的目标是在超级集群上训练自己的LLM。马斯克在回复中表达了公司的雄心,计划在2024年12月之前开发出“在各方面都最强大的AI”,而孟菲斯超级集群将为此提供“显著优势”。
对时间表的怀疑
尽管马斯克取得了众多成就,但他在如完全自动驾驶汽车和航天任务等项目上常常未能按时完成。因此,外界对2024年12月推出新Grok LLM的时间表持怀疑态度。然而,如果能按时实现,这将大大增强xAI的竞争优势。
随着OpenAI、Anthropic、Google、微软和Meta等重量级公司都在争夺LLM和SLM的进展,xAI需要提供创新且有价值的模型,以跟上激烈的AI市场竞争。此外,有报道称,微软正在与OpenAI首席执行官山姆·奧特曼合作开发一台名为“星际门户”的1000亿美元AI训练超级计算机。鉴于这些发展,xAI的孟菲斯超级集群可能不会长久保持“最强大”这个头衔。