與 RTX 聊天：為您的 Nvidia AI 電腦創建自定義本地聊天機器人

Home AI新聞與 RTX 聊天：為您的 Nvidia AI 電腦創建自定義本地聊天機器人

Nvidia推出了Chat with RTX，這是一項旨在於Windows AI電腦上創建個性化本地AI聊天機器人的功能。這項創新標誌著Nvidia在將AI打造成主流工具方面的最新努力，充分利用其圖形處理單元（GPU）。

Chat with RTX的主要特點

本地AI互動

Chat with RTX使用戶能夠直接在設備上利用個性化生成AI的強大功能。這項技術採用了檢索增強生成（RAG）和TensorRT-LLM軟件，最小化對數據中心計算的依賴。此外，它增強了使用者的隱私，消除了AI對話中關於數據洩漏的擔憂。

革命性的聊天機器人

傳統聊天機器人通常依賴由Nvidia GPU驅動的雲服務器，而新的Chat with RTX讓用戶可以利用裝配最少8GB視頻記憶體（VRAM）的GeForce RTX 30系列或更新型GPU的處理能力。這一重大改變使得用戶能夠在本地享受生成AI。

個性化的AI體驗

Nvidia強調，Chat with RTX不僅僅是一個聊天機器人；它還是可自定義的AI夥伴。通過使用本地的GeForce驅動Windows PC，用戶可以體驗到快速而隱私的生成AI。該應用利用RAG和TensorRT-LLM軟件，根據本地數據集提供快速且相關的回應。用戶可以將工具連接到本地文件，為流行的開源大型語言模型（如Mistral或Llama 2）創建數據集。

用戶只需輸入自然語言查詢，例如尋求餐廳建議，Chat with RTX便會快速提供上下文相關的答案。它支持多種文件格式，包括.txt、.pdf、.doc/.docx和.xml，為用戶提供友好的體驗。

多媒體內容整合

Chat with RTX以其整合多媒體來源（如YouTube）信息的能力脫穎而出。該功能使用戶能夠根據視頻內容提出上下文問題，例如尋求受影響者視頻啟發的旅遊建議或從教育頻道獲取教程。

由於擁有本地處理能力，該應用確保快速獲得結果，同時保持用戶數據在設備上的安全，消除了對雲服務的需求，並保護敏感信息不被第三方訪問。

系統需求和未來機會

要使用Chat with RTX，用戶需擁有至少具8GB VRAM的GeForce RTX 30系列GPU，搭載Windows 10或11，以及最新的Nvidia GPU驅動程序。對於希望使用RTX GPU優化大型語言模型的開發者，Nvidia在GitHub上提供了TensorRT-LLM RAG開發者參考項目。Nvidia還邀請開發者參加Generative AI on Nvidia RTX開發者比賽，該比賽將持續到2月23日，獲得GeForce RTX 4090 GPU及Nvidia GTC全會通行證的機會。

Chat with RTX的技術演示現在可以免費下載。

Zylon 啟用創新解決方案，緩解中小企業採用生成式人工智慧的挑戰

前任 Angi 首席執行官推出新平台 Keychain：連結包裝食品品牌與製造商的創新解決方案