Chat mit RTX: Erstellen Sie maßgeschneiderte lokale Chatbots für Ihren Nvidia AI-PC.

Nvidia präsentiert Chat mit RTX, eine Funktion, die es ermöglicht, personalisierte lokale KI-Chatbots auf Windows-AI-PCs zu erstellen. Diese Innovation stellt Nvidias neuesten Schritt dar, KI zu einem allgemeinen Werkzeug zu machen, das die Grafikprozessoren (GPUs) nutzt.

Hauptmerkmale von Chat mit RTX

Lokale KI-Interaktionen

Chat mit RTX befähigt Nutzer, die Vorteile personalisierter generativer KI direkt auf ihren Geräten zu nutzen. Diese Technologie nutzt retrieval-augmented generation (RAG) und TensorRT-LLM-Software, wodurch die Abhängigkeit von Rechenzentren minimiert wird. Zudem verbessert sie den Datenschutz, indem Bedenken hinsichtlich Datenpannen während der KI-Gespräche ausgeräumt werden.

Revolutionierung von Chatbots

Während traditionelle Chatbots oft auf Cloud-Server mit Nvidia-GPUs angewiesen sind, ermöglicht Chat mit RTX den Nutzern, die Verarbeitungsleistung von GeForce RTX 30 Series GPUs oder höher mit mindestens 8GB Videospeicher (VRAM) zu nutzen. Dieser bedeutende Wandel erlaubt es den Nutzern, generative KI lokal zu erleben.

Eine personalisierte KI-Erfahrung

Nvidia betont, dass Chat mit RTX mehr als nur ein Chatbot ist; es fungiert als anpassbarer KI-Begleiter. Durch die Verwendung lokaler GeForce-betriebener Windows-PCs können Nutzer generative KI mit bemerkenswerter Geschwindigkeit und Privatsphäre erfahren. Die Anwendung verwendet RAG und TensorRT-LLM-Software für schnelle, kontextuell relevante Antworten basierend auf lokalen Datensätzen. Nutzer können das Tool mit ihren lokalen Dateien verbinden und so Datensätze für beliebte Open-Source-Modelle wie Mistral oder Llama 2 erstellen. Statt in verschiedenen Dateien zu suchen, können Nutzer natürliche Sprachabfragen eingeben, wie z.B. nach Restaurantempfehlungen, und Chat mit RTX liefert umgehende, kontextbezogene Antworten. Es unterstützt mehrere Dateiformate, darunter .txt, .pdf, .doc/.docx und .xml, und bietet thus eine benutzerfreundliche Erfahrung.

Integration von Multimedia-Inhalten

Chat mit RTX zeichnet sich durch die Fähigkeit aus, Informationen aus Multimedia-Quellen wie YouTube zu integrieren. Diese Funktion ermöglicht es Nutzern, kontextbezogene Fragen zu Videoinhalten zu stellen, etwa nach Reiseempfehlungen basierend auf Influencer-Videos oder Zugang zu Tutorials von Bildungskanälen. Dank seiner lokalen Verarbeitungsfähigkeiten gewährleistet die Anwendung schnelle Ergebnisse, während die Nutzerdaten sicher auf dem Gerät bleiben – ohne die Notwendigkeit von Cloud-Diensten und den Schutz sensibler Informationen vor unbefugtem Zugriff.

Systemanforderungen und Zukunftsaussichten

Um Chat mit RTX nutzen zu können, benötigen Nutzer mindestens eine GeForce RTX 30 Series GPU mit 8GB VRAM, sowie Windows 10 oder 11 und die neuesten Nvidia-GPU-Treiber. Entwickler, die an der Optimierung großer Sprachmodelle mit RTX-GPUs interessiert sind, können auf das TensorRT-LLM-RAG-Entwicklerreferenzprojekt auf GitHub zugreifen. Nvidia lädt Entwickler ein, am Generative AI on Nvidia RTX Developer Contest teilzunehmen, der bis zum 23. Februar läuft und die Chance bietet, eine GeForce RTX 4090 GPU sowie einen Vollzugang zur Nvidia GTC-Konferenz zu gewinnen.

Der technische Demo von Chat mit RTX steht jetzt kostenlos zum Download bereit.