Чат с RTX: создавайте кастомизированные локальные чат-боты для вашего Nvidia AI ПК.

Nvidia запускает функцию Chat with RTX, предназначенную для создания персонализированных локальных чат-ботов на Windows AI ПК. Эта инновация является последней попыткой Nvidia сделать искусственный интеллект популярным инструментом с использованием своих графических процессоров (GPU).

Ключевые особенности Chat with RTX

Локальные взаимодействия с ИИ

Chat with RTX позволяет пользователям использовать возможности персонализированного генеративного ИИ прямо на своих устройствах. Эта технология применяет генерацию с поддержкой извлечения (RAG) и программное обеспечение TensorRT-LLM, что минимизирует зависимость от вычислений в дата-центрах. Кроме того, она повышает конфиденциальность пользователей, избавляя от опасений по поводу утечек данных в ходе общения с ИИ.

Революция чат-ботов

В отличие от традиционных чат-ботов, зависящих от облачных серверов на базе GPU Nvidia, новый Chat with RTX дает возможность пользователям использовать вычислительные мощности GeForce RTX 30 серии или выше с минимум 8 ГБ видеопамяти (VRAM). Это значительное изменение позволяет использовать генеративный ИИ локально.

Персонализированный опыт взаимодействия с ИИ

Nvidia подчеркивает, что Chat with RTX — это не просто чат-бот, а настраиваемый ИИ-компаньон. Используя локальные ПК на базе GeForce, пользователи могут получать быстрые и конфиденциальные ответы, основанные на локальных данных. Приложение применяет RAG и TensorRT-LLM для быстрого предоставления контекстуально актуальных ответов. Пользователи могут подключить инструмент к своим локальным файлам, создавая набор данных для популярных открытых языковых моделей, таких как Mistral или Llama 2.

Вместо того, чтобы искать информацию в различных файлах, пользователи могут задавать вопросы на естественном языке — например, запрашивая рекомендации по ресторанам, и Chat with RTX быстро предоставит контекстуальные ответы. Поддерживаются различные форматы файлов, включая .txt, .pdf, .doc/.docx и .xml, что обеспечивает удобство использования.

Интеграция мультимедийного контента

Chat with RTX выделяется способностью интегрировать информацию из мультимедийных источников, таких как YouTube. Эта функция позволяет пользователям задавать контекстные вопросы на основе видеоконтента, например, запрашивать советы по путешествиям, вдохновленные видео от влиятельных людей, или получать доступ к обучающим материалам от образовательных каналов.

Благодаря локальной обработке приложение обеспечивает быстрые результаты и сохраняет пользовательские данные на устройстве, исключая необходимость в облачных сервисах и защищая конфиденциальную информацию от доступа третьих лиц.

Системные требования и будущие возможности

Для использования Chat with RTX пользователям понадобится как минимум GPU GeForce RTX 30 серии с 8 ГБ VRAM, а также Windows 10 или 11 и последние драйвера Nvidia GPU. Разработчики, заинтересованные в оптимизации больших языковых моделей с RTX GPU, могут получить доступ к проекту разработчиков TensorRT-LLM RAG на GitHub. Nvidia приглашает разработчиков принять участие в конкурсе Generative AI on Nvidia RTX, который продлится до 23 февраля, предлагая возможность выиграть GPU GeForce RTX 4090 и полный билет на конференцию Nvidia GTC.

Техническая демоверсия Chat with RTX доступна для бесплатного скачивания.