Desde o inovador lançamento do ChatGPT, a comunidade tecnológica aguardava ansiosamente por um chatbot de IA local que funcione de forma independente da nuvem. A Nvidia atendeu a essa demanda com o Chat com RTX, um chatbot de IA local projetado para ajudá-lo a analisar seus dados offline usando um modelo de IA.
Este guia irá orientá-lo na configuração e operação do Chat com RTX. Lembre-se de que, por ser uma versão demo, você pode encontrar alguns bugs. No entanto, essa inovação promete abrir caminho para mais chatbots e ferramentas de IA locais.
Como Baixar o Chat com RTX
O primeiro passo é baixar e configurar o Chat com RTX, que envolve mais complexidade do que você pode imaginar. Embora a instalação comece com a execução de um instalador, esteja preparado para possíveis problemas e certifique-se de atender a alguns requisitos mínimos do sistema.
Você precisará de uma GPU da série RTX 30 ou 40 com pelo menos 8GB de VRAM, 16GB de RAM, 100GB de espaço em disco e Windows 11.
1. Baixe o instalador do Chat com RTX no site da Nvidia. Observe que a pasta compactada tem 35GB, portanto, o download pode levar algum tempo.
2. Após o download, clique com o botão direito na pasta e selecione 'Extrair Tudo'.
3. Dentro da pasta extraída, localize o arquivo setup.exe e siga as instruções de instalação.
4. Antes da instalação, o instalador perguntará onde armazenar o Chat com RTX. Certifique-se de ter pelo menos 100GB de espaço em disco no local escolhido, pois os modelos de IA serão baixados lá.
5. A instalação pode levar até 45 minutos, então não se assuste se parecer que está estagnada. Pode também desacelerar seu PC, especialmente durante a configuração do modelo de IA. Sinta-se à vontade para se afastar enquanto a instalação é concluída.
6. Se a instalação falhar, basta reiniciar o instalador e selecionar o mesmo local de dados para retomar o processo.
7. Após a instalação, um atalho para o Chat com RTX aparecerá na sua área de trabalho, e o aplicativo será aberto no seu navegador.
Como Usar o Chat com RTX com Seus Dados
O principal recurso do Chat com RTX é sua capacidade de utilizar seus próprios dados. Ele usa um método chamado geração aumentada por recuperação (RAG) para analisar documentos e fornecer respostas com base no conteúdo. Ao invés de perguntas gerais, o Chat com RTX se destaca em responder perguntas específicas relacionadas ao seu conjunto de dados.
A Nvidia fornece alguns dados de amostra para ajudá-lo a testar a ferramenta, mas adicionar seus próprios dados desbloqueará todas as suas capacidades.
1. Crie uma pasta para armazenar seu conjunto de dados e lembre-se de sua localização, pois você precisará direcionar o Chat com RTX até ela. Atualmente, ele suporta formatos de arquivo .txt, .pdf e .doc.
2. Abra o Chat com RTX e clique no ícone de pena na seção Conjunto de Dados.
3. Navegue até a pasta do seu conjunto de dados e selecione-a.
4. No Chat com RTX, clique no ícone de atualizar na seção Conjunto de Dados para regenerar o modelo com base nos dados fornecidos. Lembre-se de atualizar o modelo toda vez que adicionar novos arquivos ou mudar para um conjunto de dados diferente.
5. Após adicionar seus dados, escolha o modelo de IA desejado na seção de Modelos de IA. O Chat com RTX oferece Llama 2 e Mistral, sendo Mistral o padrão recomendável para iniciantes.
6. Agora você pode começar a fazer perguntas. Lembre-se de que o Chat com RTX não retém o contexto anterior, ou seja, respostas anteriores não influenciam as seguintes. Perguntas específicas geralmente geram melhores resultados do que perguntas vagas. Fique ciente de que, às vezes, o Chat com RTX pode referenciar dados errados em suas respostas.
7. Se o Chat com RTX parar de funcionar e reiniciar não ajudar, você pode resolver o problema excluindo o arquivo preferences.json localizado em C:\Users\[SeuNomeDeUsuário]\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.
Como Usar o Chat com RTX com YouTube
Além de dados pessoais, o Chat com RTX pode analisar vídeos do YouTube. O modelo de IA utiliza a transcrição do vídeo, mas existem algumas limitações inerentes.
É importante notar que o modelo de IA não pode interpretar conteúdos que não estão incluídos na transcrição, então você não poderá perguntar sobre elementos visuais, como a aparência de alguém em um vídeo. Além disso, as transcrições do YouTube podem às vezes ser imprecisas, o que pode afetar as respostas que você recebe.
1. Abra o Chat com RTX e, na seção Conjunto de Dados, selecione o menu suspenso para escolher YouTube.
2. Cole o link de um vídeo ou playlist do YouTube no campo fornecido. Você verá também um número indicando a quantidade máxima de transcrições que deseja baixar.
3. Clique no botão de download ao lado desse campo e aguarde a finalização do download das transcrições. Depois, clique no botão de atualizar.
4. Assim que a transcrição for preparada, você pode conversar como faria com seu conjunto de dados. Lembre-se de que perguntas específicas tendem a funcionar melhor do que perguntas gerais, e, se estiver interagindo com vários vídeos, o Chat com RTX pode confundir referências se a pergunta for muito ampla.
5. Para discutir um novo conjunto de vídeos, você precisará excluir manualmente as transcrições anteriores. Use o botão próximo ao botão de atualizar para acessar a janela do Explorer, e então exclua transcrições antigas para abrir espaço para as novas.
Classificação
