ChatGPT의 혁신적인 출시 이후, 기술 커뮤니티는 클라우드와 독립적으로 작동하는 로컬 AI 챗봇을 고대해왔습니다. Nvidia가 제공하는 Chat with RTX는 사용자의 오프라인 데이터를 효과적으로 탐색할 수 있도록 설계된 로컬 AI 챗봇입니다. 이 가이드는 Chat with RTX의 설정 및 사용 방법을 안내합니다. 데모 버전이므로 일부 버그가 발생할 수 있지만, 이 혁신은 더 많은 로컬 AI 챗봇과 도구의 길을 열어줄 것입니다.
Chat with RTX 다운로드 방법
첫 번째 단계는 Chat with RTX를 다운로드하고 설정하는 것입니다. 설치 과정은 예상을 초과할 수 있습니다. 설치는 설치 프로그램을 실행하는 것으로 시작하지만, 몇 가지 문제에 대비하고 최소 시스템 요구 사항을 충족해야 합니다. RTX 30 시리즈 또는 40 시리즈 GPU, 최소 8GB VRAM, 16GB RAM, 100GB 디스크 공간, Windows 11이 필요합니다.
1. Nvidia 웹사이트에서 Chat with RTX 설치 프로그램을 다운로드합니다. 압축된 폴더의 용량은 35GB이므로 다운로드에 시간이 걸릴 수 있습니다.
2. 다운로드가 완료되면 폴더를 오른쪽 클릭하고 '모두 추출'을 선택합니다.
3. 추출된 폴더 안에서 setup.exe 파일을 찾아 설치 지침에 따릅니다.
4. 설치가 시작되기 전에 Chat with RTX를 저장할 위치를 선택하라는 메시지가 표시됩니다. 선택한 위치에 최소 100GB의 디스크 공간이 있어야 합니다.
5. 설치에는 최대 45분이 소요될 수 있으니 지체되는 것처럼 보일 경우 놀라지 마세요. AI 모델 구성 중에는 PC 속도가 느려질 수 있으므로 설치가 완료될 때까지 잠시 자리를 비워도 됩니다.
6. 설치가 실패하면 설치 프로그램을 다시 실행하고 같은 데이터 위치를 선택하여 계속 진행합니다.
7. 설치가 완료되면 바탕화면에 Chat with RTX 바로 가기가 생성되고 웹 브라우저에서 앱이 실행됩니다.
Chat with RTX를 데이터와 함께 사용하는 방법
Chat with RTX의 주요 기능은 사용자 데이터의 활용입니다. 이 AI는 검색 강화 생성(RAG) 방식을 사용하여 문서를 분석하고 내용을 기반으로 답변을 제공합니다. 일반 질문보다는 데이터셋과 관련된 구체적인 질문에 더 뛰어난 성능을 발휘합니다. Nvidia는 도구 테스트를 위한 샘플 데이터를 제공하지만, 자신의 데이터를 추가하면 전체 기능을 활용할 수 있습니다.
1. 데이터셋을 저장할 폴더를 만들고 그 위치를 기억하세요. 현재 .txt, .pdf 및 .doc 파일 형식을 지원합니다.
2. Chat with RTX를 열고 데이터셋 섹션에서 펜 아이콘을 클릭합니다.
3. 데이터셋 폴더로 이동하여 선택합니다.
4. Chat with RTX에서 데이터셋 섹션의 새로 고침 아이콘을 클릭하여 제공한 데이터를 기반으로 모델을 재구성합니다. 새로운 파일을 추가하거나 다른 데이터셋으로 전환할 때마다 모델을 새로 고치는 것을 잊지 마세요.
5. 데이터 추가 후 AI 모델 섹션에서 원하는 AI 모델을 선택합니다. Chat with RTX는 Llama 2와 Mistral을 제공하며, Mistral이 기본값으로 설정됩니다. 두 모델 모두 탐색할 가치가 있지만, 특히 신규 사용자에게는 Mistral을 추천합니다.
6. 이제 질문을 시작할 수 있습니다. Chat with RTX는 이전 맥락을 기억하지 않으므로, 초기 응답이 후속 응답에 영감을 주지 않는 점을 유의하세요. 구체적인 질문이 모호한 질문보다 일반적으로 더 나은 결과를 제공합니다. 때때로 Chat with RTX가 잘못된 데이터를 참조할 수도 있습니다.
7. 작동이 멈추고 재시작이 도움이 되지 않는 경우, C:\Users\[YourUsername]\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json에 위치한 preferences.json 파일을 삭제하여 문제를 해결할 수 있습니다.
YouTube와 함께 Chat with RTX 사용하기
개인 데이터 외에도 Chat with RTX는 YouTube 비디오를 분석할 수 있습니다. AI 모델은 비디오의 전사를 활용하지만, 몇 가지 제한사항이 있습니다. AI 모델은 전사에 포함되지 않은 내용을 해석할 수 없으므로, 비디오에서 사람의 모습과 같은 시각적 요소에 대해서는 질문할 수 없습니다. 또한 YouTube 전사가 가끔 부정확할 수 있어 받는 응답에 영향을 미칠 수 있습니다.
1. Chat with RTX를 열고 데이터셋 섹션에서 YouTube를 선택합니다.
2. 제공된 필드에 YouTube 비디오 또는 재생목록의 링크를 붙여넣습니다. 다운로드할 최대 전사 수를 표시하는 숫자도 확인할 수 있습니다.
3. 해당 필드 옆의 다운로드 버튼을 클릭하여 전사가 완료될 때까지 기다리고, 이후 새로 고침 버튼을 클릭합니다.
4. 전사가 준비되면 데이터셋과 함께 대화하듯이 질문할 수 있습니다. 특정 질문이 일반적인 질문보다 더 효과적이며, 여러 비디오에 대해 대화할 경우 질문이 너무 광범위하면 Chat with RTX가 참조를 잘못 이해할 수 있습니다.
5. 새로운 비디오 세트를 논의하려면 이전 전사를 수동으로 삭제해야 합니다. 새로 고침 버튼 옆의 버튼을 사용하여 탐색기 윈도우에 접근한 후, 이전 전사를 삭제하고 새로운 것을 위한 공간을 만듭니다.
순위 목록
