Nvidia在微软Azure上推出AI工厂服务，推出全新Nemotron-3 8B模型

Home AI News CN Nvidia在微软Azure上推出AI工厂服务，推出全新Nemotron-3 8B模型

Updated on 十一月 15 2023

英伟达与微软合作，推出了旨在帮助企业和初创公司在Azure云平台上创建定制AI应用程序的AI工厂服务。该服务将通过检索增强生成（RAG）技术，充分利用企业数据。

英伟达创始人兼首席执行官黄仁勋表示：“英伟达的AI工厂服务整合了我们的生成AI技术、LLM培训专业知识和强大的AI工厂能力，基于微软Azure构建。这使得全球企业能够将其定制模型与微软的顶级云服务连接。”

英伟达在Azure上的AI工厂服务主要特点

通过英伟达的AI工厂服务，企业将能够在一个平台上获取开发定制企业级生成AI应用所需的全部组件。该服务提供英伟达的AI基础模型、NeMo框架以及访问英伟达DGX云超级计算资源的权限。

英伟达企业计算副总裁Manuvir Das表示：“企业首次能够在微软Azure上无缝访问从硬件到软件所需的全部组件，客户可以通过Azure轻松执行整个生成AI工作流程。”

为了给企业提供更广泛的选择，英伟达推出了一系列新型Nemotron-3 8B模型，专为医疗、通信和金融等领域的先进聊天和问答应用而设计。这些模型将具备多语言能力，并通过Azure AI模型目录、Hugging Face以及英伟达的NGC目录提供。

此外，英伟达在Azure上的其他基础模型包括Llama 2、Stable Diffusion XL和Mistral 7b。

用户在选定首选模型后，可以通过Azure市场使用英伟达DGX云和AI企业软件进行定制应用的培训和部署。DGX云提供可扩展实例，利用多达数千个NVIDIA Tensor Core GPU进行训练，并配备AI企业工具包，以简化LLM定制过程。

与甲骨文的合作与早期采用者

英伟达还与甲骨文达成合作，使符合条件的企业可以在甲骨文云市场上购买模型培训工具。现有的Azure工厂服务早期采用者包括SAP、Amdocs和Getty Images，他们正在为各种用例开发定制的AI应用程序。

拓展英伟达与微软的合作关系

除了生成AI服务，微软还宣布推出新的NC H100 v5虚拟机。这些创新的云实例配备双PCIe H100 GPU，通过Nvidia NVLink连接，提供近四千万亿次的AI计算能力和188GB高速HBM3内存。

英伟达H100 NVL GPU的设计性能可达到GPT-3 175B的最高12倍，相较于之前的模型，适用于推理和主流训练任务。此外，英伟达计划明年将新的H200 Tensor Core GPU引入Azure，提供141GB HBM3e内存和4.8TB/s的峰值内存带宽，特别适合大规模的AI工作负载。

Windows设备上的AI更新

为了增强Windows设备上的LLM操作，英伟达还发布了多个更新，其中包括支持Mistral 7B和Nemotron-3 8B等新大型语言模型的TensorRT LLM。这项更新预计在本月晚些时候发布，承诺实现五倍的推理性能，使配备GeForce RTX 30和40系列GPU（至少8GB RAM）的台式机和笔记本电脑能够更好地执行模型。

此外，TensorRT-LLM将通过新包装与OpenAI的Chat API兼容，使众多开发项目能够在配备RTX的Windows 11 PC上本地运行，无需借助云计算。

微软推出Mirroring：全新数据库复制方法

微软在Ignite活动中发布销售与服务领域的增强型Copilot功能