英伟达（Nvidia）与亚马逊云服务（AWS）在AWS re:Invent大会上宣布了他们的战略合作伙伴关系进一步加强的重大消息。英伟达推出了全新的DGX Cloud服务，标志着Grace Hopper GH200超级芯片在AWS上的首次亮相。这一举措是项目Ceiba的一部分，旨在打造全球最大的公共云超级计算平台，提供高达64 exaflops的AI运算能力。此外，AWS还扩展了其EC2服务，新增了四种GPU支持的云实例类型。
为了帮助企业开发更先进的大型语言模型（LLMs），英伟达还发布了NeMo Retriever技术，这是一种检索增强生成（RAG）方法，旨在将企业数据与生成性AI连接起来。
英伟达与AWS已经合作超过13年，自2010年起首次将其GPU集成到AWS云计算实例中。在一次简报会上，英伟达超大规模与高性能计算副总裁Ian Buck强调，他们为共同客户（包括Anthropic、Cohere和Stability AI）推动创新方面的协作努力。“这不仅仅是硬件的应用，还包括软件的整合。”Buck分享道，“我们在幕后经常进行软件集成的合作。”
DGX Cloud：AWS上的超级计算能力
英伟达的DGX Cloud最初在3月份的GPU技术大会上宣布，旨在为AI提供先进的超级计算能力。尽管这个概念并不全新，但最新版本在AWS上的实现具有独特性。Buck解释说：“这个DGX Cloud与众不同，因为它是第一个以NVIDIA Grace Hopper为基础的云服务。”
Grace Hopper超级芯片结合了ARM计算与GPU，主要用于超级计算机。AWS的DGX Cloud版本采用GH200芯片的机架架构，称为GH200 NVL-32，通过英伟达的NVLink网络技术连接32个GH200超级芯片。这种配置可以实现高达128 petaflops的AI性能，并配备20TB的高速内存。Buck强调：“这标志着生成性AI时代的新一代机架级GPU架构。”
项目Ceiba：全球最大的云AI超级计算机
英伟达与AWS还推出了项目Ceiba，旨在创建全球最大的云AI超级计算机。项目Ceiba将由16,000个Grace Hopper超级芯片组成，利用AWS的弹性网卡（EFA）和Nitro系统实现可扩展性。该超级计算机目标是实现高达64 exaflops的AI性能，配有高达9.5PB的总内存。
Buck补充道：“这台超级计算机将位于AWS基础设施内，并将由英伟达的研究团队用于推动与图形、大型语言模型、图像和视频处理、生成性AI、数字生物学、机器人、自驾车等相关的AI进展。”
NeMo Retriever：有效大型语言模型的关键
在AWS re:Invent上推出NeMo Retriever，英伟达旨在增强企业级聊天机器人功能。Buck指出，大多数常用的LLMs依赖于公共数据，限制了其有效性。为了获取最准确和及时的信息，企业必须将其LLMs与专有企业数据相结合。“这种整合是企业聊天机器人的关键，因为大部分有价值的数据就在其中。”Buck表示。“将AI与企业数据库结合起来可以提升生产力、准确性和可用性。”
NeMo Retriever配备了预构建的企业模型和检索微服务，旨在与现有工作流无缝集成。它还包括加速的向量搜索功能，以优化性能。NeMo Retriever的早期客户包括Dropbox、SAP和ServiceNow，展现了其在检索增强生成方面的尖端准确性和低延迟性能。
排行榜
