Nvidia推出了创新的RTX技术,旨在提升最新GeForce RTX AI笔记本电脑上的AI助手和数字人类体验。其中一个重要亮点是项目G-Assist,这是一款基于RTX的AI助手技术演示,能够为PC游戏和应用提供上下文感知的支持。该演示首次亮相于Studio Wildcard的《ARK: Survival Ascended》。
在台北的Computex大会上,Nvidia首席执行官黄仁勋还介绍了基于PC的Nvidia NIM(Nvidia推理微服务),这是Nvidia ACE数字人类平台的首个应用。这些进展源自Nvidia RTX AI工具包,这是一套旨在帮助开发者优化和部署大型生成性AI模型的工具及SDK,该包支持在Windows PC上运行。Nvidia的RTX AI创新加速了超过500款PC应用、游戏和200款OEM笔记本设计,预计各类数据中心、边缘计算和家庭系统将广泛采用AI技术。
最新发布的ASUS和MSI的RTX AI笔记本电脑配备了GeForce RTX 4070 GPU和高效能的系统芯片,同时具备Windows 11的AI功能。Nvidia消费者AI副总裁Jason Paul表示:“Nvidia于2018年发布RTX Tensor Core GPU和DLSS技术,启动了AI PC时代。通过项目G-Assist和Nvidia ACE,我们正在为超过1亿RTX AI PC用户解锁下一代AI驱动的体验。”
项目G-Assist:革命性的AI助手
AI助手将彻底改变游戏和应用体验,提供战略建议、分析多人游戏重播,并帮助处理复杂工作流程。项目G-Assist正是这一未来的典范。PC游戏拥有广阔的世界和复杂的机制,常常令最热衷的玩家也感到挑战。项目G-Assist利用生成性AI,直接为玩家提供游戏知识。它通过语音或文本输入和游戏屏幕的上下文数据,利用AI视觉模型增强玩家的情境意识,提供量身定制的文本或语音回复。
与Studio Wildcard合作,项目G-Assist在《ARK: Survival Ascended》中展示了其有效性,能够回答玩家关于生物、物品、背景故事等的提问,并根据玩家的游戏进程个性化指导。此外,它还优化游戏系统,提供关于性能指标、图形设置、超频选项和功耗管理的建议。
Nvidia ACE与推理微服务
Nvidia的ACE技术通过Nvidia NIM为RTX AI PC引入数字人类能力。这项创新将部署时间从数周缩短到仅几分钟,使高质量推理能在设备本地进行,支持自然语言理解、语音合成和面部动画。在Computex大会上,Nvidia展示了ACE NIM在与Inworld AI合作开发的《Covert Protocol》技术演示中的应用,展现了NVIDIA Audio2Face™和NVIDIA Riva自动语音识别的强大功能。
与微软合作推进生成性AI
Nvidia与微软合作,增强Windows应用中的生成性AI,为开发者提供访问GPU加速的小型语言模型(SLMs)的API。这些模型支持内容摘要、生成和任务自动化,并结合特定领域的检索增强生成功能(RAG)。
依靠Nvidia RTX GPU和其他硬件加速器,这些AI创新有望在Windows生态系统中实现快速响应的体验,开发者预览版将于今年晚些时候发布。
引入RTX AI工具包
为了解决主要面向数据中心的开源模型广泛使用的问题,Nvidia推出了RTX AI工具包,这是一套用于在RTX PC上创建应用特定AI模型的工具和SDK。该工具包将在6月向更多开发者开放,支持使用开源QLoRa工具进行自定义,并通过Nvidia TensorRT进行优化,带来高达4倍的性能提升。
Nvidia AI推理管理器(AIM)SDK简化了AI在PC和云服务中的集成,预先配置必要的模型,并支持不同处理器上的各种推理后台。软件合作伙伴如Adobe、Blackmagic Design和Topaz正在将RTX AI工具包的组件融入其创意应用程序,显著提升RTX PC上的AI性能。
AI在内容创作和修改中的应用
Nvidia还将RTX AI加速引入创作者、修改者和视频爱好者的工具中。在去年推出的Automatic1111 Stable Diffusion界面中引入的RTX加速之后,受欢迎的ComfyUI即将迎来高达60%的性能提升。
Nvidia RTX Remix是一款为经典DirectX 8和9游戏进行重制的平台,具备光线追踪、NVIDIA DLSS 3.5和物理真实材料。RTX Remix工具包早前已开源,吸引了超过20,000名修改者,创造了130多个重制项目。随着RTX Remix工具包全面开源,修改者将拥有更大的灵活性,能够替换游戏资产并优化场景。此外,Nvidia还将提供REST API,以便与数字内容创作工具集成,并提供专门的SDK,以便在各种应用程序中部署RTX Remix渲染器。
最后,Nvidia RTX视频是一项基于AI的超分辨率功能,现已作为SDK提供给开发者。此创新将很快支持Blackmagic Design的DaVinci Resolve和Wondershare Filmora将视频质量提升至4K,并将标准动态范围文件转换为HDR。免费的媒体播放器VLC也将整合RTX Video HDR,提升其现有的超分辨率能力。