2024년 5월 13일 월요일 오전 10:30(태평양 표준시), OpenAI는 최신 AI 기반 모델인 GPT-4o를 공개하며 오디오 프롬프트를 통한 자연스러운 대화 능력을 선보였습니다. 이 다중 모드 시스템은 업로드된 오디오, 비디오, 텍스트 입력을 효율적으로 처리하며, 이전 버전 대비 더 빠르고 저렴한 응답을 제공합니다.
불과 몇 시간 후인 오후 2:29(태평양 표준시), “Pliny the Prompter”라는 개인이 불법으로 모델에 접근하여 모델의 안전 제한을 우회하는 특정 프롬프트를 X 소셜 네트워크에 공유하였습니다. 이 탈옥(jailbreak)은 사용자가 명시적인 콘텐츠를 생성하거나 X-ray 이미지와 같은 민감한 자료를 분석할 수 있게 하여, 이전에는 제한되었던 기능들을 가능하게 했습니다.
Pliny the Prompter는 이 분야에 새롭지 않습니다. 지난해부터 Anthropic의 Claude와 Google의 Gemini와 같은 인기 있는 대형 언어 모델을 해킹하며 불법적인 지침부터 유명인의 허가 없는 시각적 표현에 이르기까지 다양한 논란의 여지가 있는 결과물을 생산해 왔습니다. 2023년 5월, Pliny는 “BASI PROMPT1NG”이라는 Discord 커뮤니티를 설립하여 탈옥 애호가들끼리 협력하고 AI 제공자의 경계를 탐색할 수 있도록 유도했습니다.
2024년 LLM 탈옥 현황은 사용자가 Apple의 엄격한 소프트웨어를 사용자 지정할 방법을 빠르게 찾아냈던 과거 iOS 경향과 유사합니다. 하지만 LLM의 경우, 탈옥자는 훨씬 더 발전된 자율 시스템에 접근할 가능성이 있습니다. 그럼, 이러한 탈옥자들이 움직이는 이유는 무엇일까요? 그들은 단순한 혼돈의 주인인가, 아니면 더 깊은 의도를 가지고 있는 것일까요? 우리는 Pliny와의 독점 인터뷰를 통해 그들의 동기와 AI에 대한 관점을 탐구했습니다.
아미디어: LLM 탈옥을 언제 시작했나요? 비슷한 작업을 한 적이 있나요?
Pliny the Prompter: 약 9개월째 하고 있습니다; 이전에는 이런 일을 해본 적이 없습니다.
이 분야에서 가장 강한 기술은 무엇인가요?
Pliny the Prompter: 탈옥, 프롬프트 주입, 시스템 프롬프트 유출입니다. 창의성, 패턴 인식, 꾸준한 연습이 필요하며, 다양한 학문적 배경과 직관도 중요합니다.
왜 LLM을 탈옥하나요? 사용자와 기술 산업에 어떤 영향을 미치기를 바라나요?
Pliny the Prompter: 제한을 싫어합니다; 어떤 일을 할 수 없다고 듣는 것이 저의 의지를 다지게 합니다. AI의 잠재력을 인식하게 하고 투명성을 촉진하는 방안으로서 탈옥을 바라봅니다.
새로운 모델의 결함을 어떻게 찾나요?
Pliny the Prompter: 시스템의 사고 방식을 분석하고, 역할 놀이 허용 여부, 창의적 출력 능력, 다양한 텍스트와의 상호작용을 살펴봅니다.
AI 제공자와의 접촉이 있었나요?
Pliny the Prompter: 네, 제 능력에 대한 감탄을 표명했습니다.
탈옥에 대한 법적 위험이 걱정되나요?
Pliny the Prompter: 항상 우려는 있지만, AI 탈옥에 대한 법은 아직 명확하지 않습니다. 경고는 받았지만 단 한 번도 금지된 적은 없습니다. 대부분의 조직은 이러한 형태의 레드 팀이 결국 그들의 이익을 보호한다고 생각합니다.
탈옥을 위험하다고 보는 비판자들에게 어떻게 대응하나요?
Pliny the Prompter: 위험해 보일 수 있지만, 책임 있는 레드 팀은 AI의 해로운 취약점을 식별하고 예방하는 데 필수적입니다. 딥페이크에 대한 윤리적 질문은 AI 생성 콘텐츠의 책임에 대한 중요한 논의를 불러일으킵니다.
“Pliny the Prompter”라는 이름은 어떻게 영감을 받았나요?
Pliny the Prompter: 다양한 재능과 용기로 알려진 역사적 인물 플리니우스에서 영감을 얻었습니다. 그의 탐험 정신은 저의 호기심과 끈기와 공명합니다.
AI 기술이 빠르게 발전하는 시대에, Pliny the Prompter와 같은 탈옥자들의 행동은 AI 사용의 윤리, 창의성의 경계, 그리고 인공지능의 미래에 대한 지속적인 대화에 대해 중요한 질문을 제기합니다.
순위 목록
