英伟达推出快速AI推理微服务，实现应用程序快速部署

Home AI News CN 英伟达推出快速AI推理微服务，实现应用程序快速部署

黄仁勋，Nvidia首席执行官，在台湾的台北电脑展上发表了主题演讲，重点介绍了Nvidia推理微服务（NIM）如何将AI模型的部署时间从数周缩短到几分钟。

黄仁勋表示，全球2800万开发者可以下载Nvidia NIM，该服务提供了优化的AI模型作为容器，适用于云计算、数据中心和工作站的部署。这项技术使用户能够快速创建生成式AI应用程序，如副驾驶和聊天机器人，显著提升了生产力。

随着AI应用变得愈加复杂，依赖于多个模型生成文本、图像、视频和语音，Nvidia NIM简化了生成式AI与现有应用的集成。这一效率也延伸到企业，使其能够最大化基础设施投资。例如，在NIM上运行Meta Llama 3-8B模型，生成的AI令牌数量可以比没有使用NIM时多出三倍，提升产出而无需增加计算成本。

近200家技术合作伙伴，包括Cadence、Cloudera和DataStax，已将NIM集成到他们的平台，以加速特定应用的生成式AI部署。Hugging Face现在也开始提供NIM，首个产品是Meta Llama 3模型。

“每个企业都希望引入生成式AI，但并非所有企业都有专门的AI研究团队，”黄仁勋说。“Nvidia NIM让所有机构都能使用生成式AI，因为它已集成于各类平台中。”

NIM通过Nvidia AI企业软件平台便于AI应用的部署。从下个月开始，Nvidia开发者计划的会员可以免费使用NIM进行研究和测试，支持多种基础设施。

NIM包括40多个微服务，涵盖医疗等多个行业。NIM容器为GPU加速推理预构建，并能够集成Nvidia的CUDA、Triton推理服务器和TensorRT-LLM软件。

开发者可以通过Hugging Face平台访问Nvidia NIM微服务，轻松部署Llama 3模型，仅需几次点击。企业可以利用NIM生成文本、图像、视频、语音，甚至创建数字人。此外，Nvidia BioNeMo NIM微服务帮助研究人员创新新型蛋白质结构，加速药物发现。

许多医疗组织已在多个应用中使用NIM，包括外科手术规划和临床试验优化。

领先的技术供应商，如Canonical、Red Hat和VMware，正在支持基于开源KServe的NIM，而Hippocratic AI和Glean等AI公司也在其生成式AI推理中嵌入NIM。包括埃森哲和德勤等全球知名咨询公司，正在发展NIM能力，以帮助企业迅速启动AI战略。

NIM支持的应用可以在Nvidia认证的系统上部署，包括Cisco、Dell Technologies和其他主要制造商的设备，以及AWS和Google Cloud等云平台。像富士康和Lowe’s等知名企业，已在制造和医疗等领域应用NIM。

Nvidia正在扩展其认证系统计划，确保平台优化用于AI和加速计算。新认证包括针对数据中心的Spectrum-X Ready系统和针对边缘计算的IGX系统，这两者都经过企业级性能的验证。

借助NIM，全球企业正在建立“AI工厂”，以简化数据处理，提升智能输出。结合KServe，Nvidia NIM将简化生成式AI的部署，使其可通过Canonical和Nutanix等合作伙伴的平台轻松访问。

黄仁勋还强调，Meta Llama 3作为一款尖端的大型语言模型，通过Nvidia加速计算的训练，显著改善了医疗和生命科学的工作流程。作为Nvidia NIM推理微服务，现在可在ai.nvidia.com获得，Llama 3为开发人员提供了在外科手术规划和药物发现等应用中负责任地创新所需的工具。

英伟达与台湾电子制造商合作推进创新数字孪生战略

英伟达推出GeForce RTX升级，助力AI增强的PC数字助手

Most people like

Kopy

95.4K

轻松一键复制和导入各类商店产品。

产品进口电商助手

Voilà

194.7K

Voilà 是一款强大的 AI 浏览器助手，旨在提升工作效率并提供多种虚拟助手功能。通过智能技术，它帮助用户更高效地完成任务，简化浏览体验。

ChatGPT AI助手写作助手

Massed Compute

69.8K

云计算服务商提供多种计算任务的 GPU 租赁解决方案，满足不同用户的需求。

云计算 AI Analytics助手

VirtuGF - Your uncensored intimate AI girlfriend

18.7K

体验无限制的亲密AI女友。让我们带您进入一个创新的数字世界，在这里，AI女友为您提供无与伦比的陪伴和情感联系。无论您想讨论日常生活、分享梦想，还是渴望倾诉心声，我们的AI女友都能为您提供个性化的互动体验，创造出属于您和她独特的浪漫旅程。

人工智能女友 AI虚拟女友

Find AI tools in YBX