Seit der bahnbrechenden Einführung von ChatGPT wartet die Technik-Community gespannt auf einen lokalen KI-Chatbot, der unabhängig von der Cloud funktioniert. Nvidia hat mit Chat with RTX geliefert, einem lokalen KI-Chatbot, der Ihnen hilft, Ihre Offline-Daten mithilfe eines KI-Modells zu durchsuchen.
Diese Anleitung führt Sie durch die Einrichtung und den Betrieb von Chat with RTX. Beachten Sie, dass es sich um eine Demo-Version handelt, sodass Sie möglicherweise auf einige Bugs stoßen. Diese Innovation wird jedoch den Weg für weitere lokale KI-Chatbots und -Tools ebnen.
So laden Sie Chat with RTX herunter
Der erste Schritt besteht darin, Chat with RTX herunterzuladen und zu konfigurieren, was komplexer ist als gedacht. Die Installation beginnt mit dem Ausführen eines Installers, seien Sie jedoch auf mögliche Probleme vorbereitet und stellen Sie sicher, dass Sie die minimalen Systemanforderungen erfüllen.
Sie benötigen eine RTX 30er- oder 40er-GPU mit mindestens 8 GB VRAM, 16 GB System-RAM, 100 GB Speicherplatz und Windows 11.
1. Laden Sie den Chat with RTX-Installer von Nvidias Website herunter. Beachten Sie, dass der komprimierte Ordner 35 GB groß ist, daher kann der Download eine Weile dauern.
2. Nach Abschluss des Downloads klicken Sie mit der rechten Maustaste auf den Ordner und wählen „Alles extrahieren“.
3. Suchen Sie die setup.exe-Datei im extrahierten Ordner und folgen Sie den Installationsanweisungen.
4. Vor Beginn der Installation fragt der Installer, wo Chat with RTX gespeichert werden soll. Stellen Sie sicher, dass Sie an dem gewählten Ort mindestens 100 GB freien Speicherplatz haben, da dort die KI-Modelle heruntergeladen werden.
5. Die Installation kann bis zu 45 Minuten dauern. Lassen Sie sich nicht beunruhigen, wenn es stockt; Ihr PC könnte während der Konfiguration der KI-Modelle langsamer werden. Sie können sich während der Installation auch entspannen.
6. Sollte die Installation fehlschlagen, führen Sie einfach den Installer erneut aus und wählen denselben Speicherort aus, um den Prozess fortzusetzen.
7. Nach der Installation erscheint eine Verknüpfung zu Chat with RTX auf Ihrem Desktop, und die App wird in Ihrem Webbrowser gestartet.
So verwenden Sie Chat with RTX mit Ihren Daten
Die Hauptfunktion von Chat with RTX besteht darin, Ihre eigenen Daten zu nutzen. Es verwendet eine Methode namens Retrieval-Augmented Generation (RAG), um Dokumente zu durchsuchen und Antworten basierend auf dem Inhalt zu liefern. Anstatt allgemeine Anfragen zu beantworten, glänzt Chat with RTX mit spezifischen Fragen zu Ihrem Datensatz.
Nvidia stellt einige Beispieldaten zur Verfügung, um Ihnen bei der Testung des Tools zu helfen, doch Ihre eigenen Daten freizuschalten wird die vollständigen Fähigkeiten der Anwendung entfalten.
1. Erstellen Sie einen Ordner, um Ihren Datensatz zu speichern, und merken Sie sich dessen Speicherort. Momentan unterstützt es die Formate .txt, .pdf und .doc.
2. Öffnen Sie Chat with RTX und klicken Sie im Abschnitt Datensatz auf das Stiftsymbol.
3. Navigieren Sie zu Ihrem Datensatzordner und wählen Sie ihn aus.
4. Klicken Sie in Chat with RTX auf das Aktualisierungssymbol im Abschnitt Datensatz, um das Modell basierend auf Ihren bereitgestellten Daten zu regenerieren. Denken Sie daran, das Modell jedes Mal zu aktualisieren, wenn Sie neue Dateien hinzufügen oder zu einem anderen Datensatz wechseln.
5. Nachdem Ihre Daten hinzugefügt wurden, wählen Sie das gewünschte KI-Modell im Abschnitt KI-Modell aus. Chat with RTX bietet Llama 2 und Mistral an, wobei Mistral der Standard ist. Beide Modelle sind interessant, aber Mistral wird Anfängern empfohlen.
6. Jetzt können Sie Fragen stellen. Beachten Sie, dass Chat with RTX den vorherigen Kontext nicht beibehält, was bedeutet, dass frühere Antworten spätere nicht beeinflussen. Spezifische Fragen führen in der Regel zu besseren Ergebnissen als vage. Seien Sie sich bewusst, dass Chat with RTX manchmal auf falsche Daten in seinen Antworten verweisen kann.
7. Falls Chat with RTX nicht funktioniert und ein Neustart nicht hilft, löschen Sie die preferences.json-Datei im Verzeichnis C:\Users\[IhrBenutzername]\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.
So verwenden Sie Chat with RTX mit YouTube
Neben persönlichen Daten kann Chat with RTX auch YouTube-Videos analysieren. Das KI-Modell nutzt das Transkript des Videos, hat jedoch einige Einschränkungen.
Es ist wichtig zu beachten, dass das KI-Modell Inhalte, die nicht im Transkript enthalten sind, nicht interpretieren kann. Sie können also keine visuellen Elemente anfragen, wie zum Beispiel, wie jemand in einem Video aussieht. Außerdem können YouTube-Transkripte gelegentlich ungenau sein, was die Antworten beeinflussen kann.
1. Öffnen Sie Chat with RTX und wählen Sie im Abschnitt Datensatz im Dropdown-Menü YouTube aus.
2. Fügen Sie den Link zu einem YouTube-Video oder einer Playlist in das bereitgestellte Feld ein. Sie sehen auch eine Zahl, die die maximale Anzahl der Transkripte angibt, die Sie herunterladen möchten.
3. Klicken Sie auf die Download-Schaltfläche neben diesem Feld und warten Sie, bis die Transkripte heruntergeladen sind. Klicken Sie danach auf die Aktualisierungsschaltfläche.
4. Sobald das Transkript fertig ist, können Sie genau wie mit Ihrem Datensatz chatten. Denken Sie daran, dass spezifische Fragen in der Regel besser funktionieren als allgemeine, und wenn Sie mit mehreren Videos interagieren, könnte Chat with RTX Referenzen missverstehen, wenn die Frage zu allgemein ist.
5. Um mit einer neuen Reihe von Videos zu sprechen, müssen Sie die vorherigen Transkripte manuell löschen. Verwenden Sie die Schaltfläche neben der Aktualisierungstaste, um das Explorer-Fenster zu öffnen, und löschen Sie die alten Transkripte, um Platz für neue zu schaffen.
Rangliste
