如何高效使用Nvidia最新的RTX AI聊天机器人

自从ChatGPT问世以来,科技界一直期待着一个能够独立于云端运行的本地AI聊天机器人。Nvidia推出了Chat with RTX,这是一款旨在帮助您利用AI模型处理离线数据的本地AI聊天机器人。

本指南将带您了解Chat with RTX的设置和使用。请注意,由于这是一个演示版本,您可能会遇到一些bug,但这一创新为更多本地AI聊天机器人和工具的诞生铺平了道路。

如何下载Chat with RTX

第一步是下载和配置Chat with RTX,这比您想象的要复杂。虽然安装是从运行安装程序开始,但请做好可能出现问题的准备,并确保满足最低系统要求。

您需要具备:RTX 30系列或40系列GPU(至少8GB显存)、16GB系统内存、100GB硬盘空间,以及Windows 11操作系统。

步骤 1:从Nvidia官网下载安装程序。请注意,压缩包大小为35GB,因此下载可能需要一些时间。

步骤 2:下载完成后,右键单击文件夹并选择“提取全部”。

步骤 3:在提取的文件夹中找到setup.exe文件,按照安装提示进行操作。

步骤 4:安装之前,安装程序会询问您存放Chat with RTX的位置。确保您选择的路径中有至少100GB的可用空间,以便下载AI模型。

步骤 5:安装可能需要长达45分钟,请耐心等待。如若出现卡顿,尤其在AI模型配置期间,也请不要惊慌,您可以在旁边等待安装完成。

步骤 6:如果安装失败,只需重新运行安装程序,选择相同的数据路径继续。

步骤 7:安装完成后,桌面上会出现Chat with RTX的快捷方式,应用将会在您的网页浏览器中启动。

如何使用Chat with RTX处理您的数据

Chat with RTX的核心功能是利用您自己的数据。它采用一种称为“检索增强生成”(RAG)的方法,通过分析文档来提供基于内容的答案。Chat with RTX在处理与您的数据集相关的具体问题时表现尤为出色。

Nvidia提供了一些示例数据帮助您测试工具,但添加自己的数据将解锁其所有功能。

步骤 1:创建一个文件夹来存储数据集,并记录其位置,以便您指导Chat with RTX。当前支持.txt、.pdf和.doc文件格式。

步骤 2:打开Chat with RTX,点击数据集部分的笔图标。

步骤 3:导航到您的数据集文件夹并选择它。

步骤 4:在Chat with RTX中,点击数据集部分的刷新图标,以根据提供的数据重生模型。每次添加新文件或更换数据集时,请记得刷新模型。

步骤 5:添加数据后,从AI模型部分选择所需的AI模型。Chat with RTX提供Llama 2和Mistral两种模型,其中Mistral为默认选项。虽然两种模型都值得探索,但推荐新手使用Mistral。

步骤 6:现在您可以开始提问。请记住,Chat with RTX不会保留之前的上下文,这意味着之前的回答不会影响之后的问题。具体问题通常会产生更好的结果,请注意偶尔会出现错误引用的数据。

步骤 7:如果Chat with RTX无法正常工作且重启无效,您可以通过删除位于C:\Users\[您的用户名]\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json的preferences.json文件来解决问题。

如何使用Chat with RTX进行YouTube分析

除了个人数据,Chat with RTX还能分析YouTube视频。它利用视频的文本记录,但存在一些固有的限制。

请注意,该AI模型无法解读文本记录以外的内容,因此您无法询问视频中视觉元素的问题,如某人长什么样。此外,YouTube的文本记录有时可能不准确,这可能影响您获得的回答。

步骤 1:打开Chat with RTX,在数据集部分选择下拉菜单,选择YouTube。

步骤 2:在给定的字段中粘贴YouTube视频或播放列表的链接,同时您还可以看到最大下载文本记录的数量。

步骤 3:点击此字段旁边的下载按钮,等待文本记录下载完成。完成后,点击刷新按钮。

步骤 4:一旦文本记录准备好,您就可以像使用数据集一样进行对话。请记住,具体问题往往更有效;如果与多个视频互动,Chat with RTX可能会误解引用,如果问题过于笼统。

步骤 5:要讨论新的视频集,您需要手动删除之前的文本记录。使用刷新按钮旁边的按钮打开资源管理器窗口,然后删除旧文本记录以便为新记录腾出空间。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles