С тех пор как был запущен ChatGPT, технологическое сообщество с нетерпением ждало локального AI-чат-бота, который мог бы работать независимо от облака. Nvidia представила Chat with RTX — локальный AI-чат-бот, созданный для обработки ваших оффлайн-данных с использованием AI-модели.
Этот гид проведет вас через этапы настройки и работы с Chat with RTX. Учтите, что поскольку это демоверсия, вы можете столкнуться с некоторыми ошибками, однако эта новинка обещает открыть путь для будущих локальных AI-чат-ботов и инструментов.
Как загрузить Chat with RTX
Первым шагом является загрузка и настройка Chat with RTX, что может оказаться более сложным, чем вы ожидаете. Убедитесь, что у вас есть подходящие системные требования: графический процессор RTX 30-й или 40-й серии с как минимум 8 ГБ видеопамяти, 16 ГБ оперативной памяти, 100 ГБ дискового пространства и Windows 11.
1. Скачайте установщик Chat with RTX с веб-сайта Nvidia. Обратите внимание, что сжатая папка занимает 35 ГБ, поэтому загрузка может занять некоторое время.
2. После завершения загрузки кликните правой кнопкой мыши на папку и выберите «Извлечь все».
3. В извлеченной папке найдите файл setup.exe и следуйте инструкциям по установке.
4. Перед началом установки установщик спросит, где сохранить Chat with RTX. Убедитесь, что в выбранном вами месте есть как минимум 100 ГБ дискового пространства, так как модели AI будут загружены туда.
5. Установка может занять до 45 минут, поэтому не пугайтесь, если процесс кажется замедленным, особенно при конфигурации AI-модели. Вы можете немного отдохнуть, пока установка не завершится.
6. Если установка потерпела неудачу, просто перезапустите установщик и выберите то же место для данных, чтобы продолжить процесс.
7. После завершения установки на вашем рабочем столе появится ярлык Chat with RTX, и приложение откроется в вашем веб-браузере.
Как использовать Chat with RTX с вашими данными
Основная функция Chat with RTX заключается в использовании ваших собственных данных. Он применяет метод, называемый дополненной генерацией извлечений (RAG), чтобы просматривать документы и предоставлять ответы на основе содержимого. Вместо общих запросов Chat with RTX отлично справляется с конкретными вопросами о ваших данных.
1. Создайте папку для хранения вашего набора данных и запомните ее местоположение, так как вам нужно будет указать его Chat with RTX. В настоящее время поддерживаются форматы .txt, .pdf и .doc.
2. Откройте Chat with RTX и нажмите на иконку ручки в разделе «Набор данных».
3. Перейдите в папку с вашим набором данных и выберите ее.
4. В Chat with RTX нажмите иконку обновления в разделе «Набор данных», чтобы регенерировать модель на основе ваших данных. Не забывайте обновлять модель каждый раз, когда добавляете новые файлы или переключаетесь на другой набор данных.
5. После добавления данных выберите желаемую AI-модель в разделе «AI-модель». Chat with RTX предлагает Llama 2 и Mistral, при этом Mistral является моделью по умолчанию. Обе модели стоит протестировать, однако Mistral рекомендуется для новичков.
6. Теперь вы можете задавать вопросы. Учтите, что Chat with RTX не сохраняет предыдущий контекст, поэтому ранние ответы не влияют на последующие. Конкретные вопросы, как правило, дают лучшие результаты, чем общие. Будьте внимательны, иногда Chat with RTX может ссылаться на неверные данные в своих ответах.
7. Если Chat with RTX перестанет работать и перезапуск не помогает, вы можете решить проблему, удалив файл preferences.json, находящийся по адресу C:\Users\[ВашеИмяПользователя]\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.
Как использовать Chat with RTX с YouTube
Кроме личных данных, Chat with RTX может анализировать видео на YouTube. AI-модель использует стенограмму видео, но имеются некоторые ограничения.
Важно отметить, что AI-модель не может интерпретировать контент, не включенный в стенограмму, поэтому вы не сможете задать вопросы о визуальных элементах, например, о том, как кто-то выглядит в видео. Кроме того, стенограммы YouTube иногда могут быть неточными, что может повлиять на получаемые вами ответы.
1. Откройте Chat with RTX и в разделе «Набор данных» выберите в выпадающем списке YouTube.
2. Вставьте ссылку на видео или плейлист на YouTube в указанное поле. Вы также увидите число, указывающее максимальное количество стенограмм, которые вы хотите загрузить.
3. Нажмите кнопку загрузки рядом с этим полем и дождитесь завершения загрузки стенограмм. После этого нажмите кнопку обновления.
4. После подготовки стенограммы вы можете общаться так же, как и с вашим набором данных. Помните, что конкретные вопросы работают лучше, чем общие, и если вы работаете с несколькими видео, Chat with RTX может неверно интерпретировать ссылки, если вопрос слишком общий.
5. Чтобы обсудить новую серию видео, вам нужно вручную удалить предыдущие стенограммы. Используйте кнопку рядом с кнопкой обновления, чтобы открыть окно проводника, а затем удалите старые стенограммы, чтобы освободить место для новых.
Рейтинг
