Desde el lanzamiento innovador de ChatGPT, la comunidad tecnológica ha estado ansiosa por un chatbot de IA local que funcione de manera independiente de la nube. Nvidia ha cumplido con Chat with RTX, un chatbot de IA local diseñado para ayudarte a explorar tus datos sin conexión utilizando un modelo de IA.
Esta guía te ayudará a configurar y utilizar Chat with RTX. Ten en cuenta que, al ser una versión de demostración, es posible que encuentres algunos errores. Sin embargo, esta innovación promete abrir la puerta a más chatbots y herramientas de IA locales.
Cómo descargar Chat with RTX
El primer paso es descargar y configurar Chat with RTX, lo cual es más complejo de lo que podrías pensar. La instalación comienza ejecutando un instalador, pero prepárate para posibles inconvenientes y asegúrate de cumplir con algunos requisitos mínimos del sistema. Necesitarás una GPU de la serie RTX 30 o 40 con al menos 8 GB de VRAM, 16 GB de RAM del sistema, 100 GB de espacio en disco y Windows 11.
1. Descarga el instalador de Chat with RTX desde el sitio web de Nvidia. Ten en cuenta que la carpeta comprimida ocupa 35 GB, por lo que la descarga puede tardar un tiempo.
2. Una vez que la descarga esté completa, haz clic derecho en la carpeta y selecciona 'Extraer todo'.
3. Dentro de la carpeta extraída, localiza el archivo setup.exe y sigue las instrucciones de instalación.
4. Antes de que comience la instalación, el instalador te preguntará dónde almacenar Chat with RTX. Asegúrate de tener al menos 100 GB de espacio en disco en la ubicación elegida, ya que los modelos de IA se descargarán allí.
5. La instalación puede tardar hasta 45 minutos, así que no te alarmes si parece estancarse. También puede ralentizar tu PC, especialmente durante la configuración del modelo de IA. Si deseas, puedes alejarte mientras se completa la instalación.
6. Si la instalación falla, simplemente vuelve a ejecutar el instalador y selecciona la misma ubicación de datos para reanudar el proceso.
7. Una vez finalizada la instalación, aparecerá un acceso directo a Chat with RTX en tu escritorio y la aplicación se abrirá en tu navegador.
Cómo usar Chat with RTX con tus datos
La función principal de Chat with RTX es su capacidad para utilizar tus propios datos. Emplea un método llamado generación aumentada por recuperación (RAG) para analizar documentos y proporcionar respuestas basadas en el contenido. En lugar de hacer preguntas generales, Chat with RTX destaca al responder preguntas específicas relacionadas con tu conjunto de datos.
Nvidia ofrece algunos datos de muestra para ayudarte a probar la herramienta, pero agregar tus propios datos desbloqueará todas sus capacidades.
1. Crea una carpeta para almacenar tu conjunto de datos y recuerda su ubicación, ya que necesitarás indicarle a Chat with RTX dónde encontrarla. Actualmente, admite formatos de archivo .txt, .pdf y .doc.
2. Abre Chat with RTX y haz clic en el ícono de lápiz en la sección Conjunto de datos.
3. Navega hasta tu carpeta de datos y selecciónala.
4. En Chat with RTX, haz clic en el ícono de actualizar en la sección Conjunto de datos para regenerar el modelo basado en tus datos proporcionados. Recuerda actualizar el modelo cada vez que agregues nuevos archivos o cambies a otro conjunto de datos.
5. Después de agregar tus datos, selecciona el modelo de IA deseado en la sección correspondiente. Chat with RTX ofrece Llama 2 y Mistral, siendo Mistral el predeterminado. Aunque ambos modelos son valiosos, se recomienda Mistral para quienes son nuevos en la herramienta.
6. ¡Puedes empezar a hacer preguntas ahora! Recuerda que Chat with RTX no conserva el contexto de respuestas anteriores, lo que significa que las respuestas iniciales no informan sobre las posteriores. Las preguntas específicas generalmente producen mejores resultados que las vagas. Ten en cuenta que a veces Chat with RTX puede referirse a datos incorrectos en sus respuestas.
7. Si Chat with RTX deja de funcionar y reiniciar no ayuda, puedes resolver el problema eliminando el archivo preferences.json ubicado en C:\Users\[TuNombreDeUsuario]\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.
Cómo usar Chat with RTX con YouTube
Además de datos personales, Chat with RTX puede analizar videos de YouTube. El modelo de IA utiliza la transcripción del video, pero existen algunas limitaciones inherentes.
Es importante señalar que el modelo de IA no puede interpretar contenido que no esté incluido en la transcripción, por lo que no podrás preguntar sobre elementos visuales, como la apariencia de alguien en un video. Adicionalmente, las transcripciones de YouTube pueden ser inexactas, lo que podría afectar las respuestas que recibes.
1. Abre Chat with RTX y, en la sección Conjunto de datos, selecciona la opción desplegable para elegir YouTube.
2. Pega el enlace a un video o lista de reproducción de YouTube en el campo proporcionado. También verás un número que indica la cantidad máxima de transcripciones que deseas descargar.
3. Presiona el botón de descarga junto a este campo y espera a que finalice la descarga de las transcripciones. Luego, haz clic en el botón de actualizar.
4. Una vez que la transcripción esté lista, puedes chatear como lo harías con tu conjunto de datos. Recuerda que las preguntas específicas tienden a funcionar mejor que las generales, y si interactúas con múltiples videos, Chat with RTX puede malinterpretar las referencias si la pregunta es demasiado amplia.
5. Para discutir un nuevo conjunto de videos, necesitarás eliminar manualmente las transcripciones anteriores. Utiliza el botón junto al de actualizar para acceder a la ventana del Explorador, y luego elimina las transcripciones antiguas para dar paso a las nuevas.
Clasificación
