레크룸(Rec Room)의 신뢰 및 안전 팀은 최근 18개월 간 독성 행동을 줄이는 데 뛰어난 성과를 거두었습니다. 이번 VB 스포트라이트에서는 플레이어의 행복을 증진하고, 몰입도를 높이며, 게임 경험을 변화시킨 지표, 도구 및 전략을 살펴봅니다.
게임 개발자에게 플레이어 경험과 안전 향상은 우선되어야 할 과제입니다. 최근 VB 스포트라이트에서는 모듈레이트(Modulate)의 고객 관리 이사 마크 프룸킨과 레크룸의 신뢰 및 안전 책임자 야스민 후세인이 독성으로부터 플레이어를 보호하기 위한 효과적인 전략을 논의했습니다. 두 사람은 레크룸이 머신러닝 기반의 음성 채팅 moderation 솔루션인 톡스모드(ToxMod)와 협력한 내용을 공유했습니다.
2016년에 출시된 레크룸은 1억 명 이상의 사용자와 함께하며, PC, 모바일, VR 헤드셋, 콘솔 등 다양한 플랫폼에서 사용자가 커스터마이즈 가능한 아바타를 통해 실시간 상호 작용을 할 수 있습니다. 후세인은 “레크룸은 플레이어들이 만들어가는 수많은 세계와 방으로 가득한 공간을 만들기 위해 설계되었습니다. 신뢰와 안전은 그 비전의 핵심입니다.”라고 강조했습니다.
하지만 실시간 음성 상호 작용은 부적절한 행동을 하는 일부 플레이어를 끌어들입니다. 개발자들은 어떻게 커뮤니티 기준을 준수하지 않는 플레이어의 행동을 변화시킬 수 있을까요?
후세인에 따르면, 레크룸은 지난 1년 동안 독성 음성 채팅 사례를 약 70% 줄이는 데 성공했지만, 이러한 성과는 하루아침에 이루어진 것은 아닙니다.
독성 문제 해결 단계
첫 단계는 모든 공개 방에서 지속적인 음성 moderation을 도입하여 플레이어 행동에 대한 명확한 기대를 설정하는 것이었습니다. 이후 팀은 부적절한 행동에 대한 효과적인 대응 방안을 모색했습니다. 다양한 실험을 통해 뮤트 및 정지 조치의 길이와 두 가지 유형의 경고(엄격한 경고와 긍정적 강화 경고)를 시험했습니다.
연구 결과, 즉각적인 탐지와 1시간 뮤트가 부정적 행동을 크게 줄이는 데 효과적이었습니다. 즉각적인 피드백은 플레이어에게 독성이 허용되지 않는다는 강한 메시지를 전달하여 즉각적인 위반을 줄이고 플레이어의 몰입을 유지했습니다.
비록 이 접근법이 독성을 완전히 없애지는 못했지만, 향상된 성과를 이끌어냈습니다. 팀이 조사한 결과, 소수의 플레이어가 대부분의 위반 사례를 차지하고 있다는 것을 발견했습니다. 이 집단을 어떻게 효과적으로 다룰 수 있을까요?
후세인은 “일부 플레이어와 다수의 위반 사례 사이에 명확한 연관성이 있었고, 이는 추가 실험 설계로 이어졌습니다. 초기 뮤트나 경고 후 추가 뮤트를 함으로써 학습을 장려하는 누적 효과를 만들고자 합니다. 이 전략에서 긍정적인 결과를 보고 있습니다.”라고 설명했습니다.
신뢰 및 안전 분야의 실험적 접근
프룸킨은 moderation 전략을 정교하게 다듬기 위해 특정 지표를 추적하는 것이 중요하다고 강조했습니다. 주요 데이터 포인트로는 플레이어의 발언, 위반 빈도, 재범자의 프로필을 포함합니다. 초기 가설을 명확히 설정하는 것이 중요합니다. 후세인은 “가설이 핵심입니다. 위반을 줄이기 위한 다양한 개입을 실험했을 때, 이는 특정 플레이어 행동 변화와는 구별되는 사안이었습니다.”라고 밝혔습니다.
전략 학습 및 정제를 위한 반복은 필수적이지만, 실험은 의미 있는 데이터를 수집하고 플레이어 행동에 영향을 미치기 위해 충분한 기간 동안 진행되어야 합니다. 후세인은 “우리는 플레이어가 커뮤니티 기준을 준수하고 긍정적인 기여자가 되기를 바랍니다. 이는 종종 시간이 지남에 따라 형성된 행동을 잊는 것을 필요로 합니다. 플레이어가 새로운 기준에 적응하는 데 보통 3주에서 6주가 소요됩니다.”라고 덧붙였습니다.
그럼에도 불구하고 도전 과제가 여전히 존재합니다. 한 분야에서의 진전은 새로운 문제의 발생으로 이어질 수 있어, 지속적인 moderation 기술 조정이 필요합니다. 실시간 음성 moderation은 복잡하지만 레크룸 팀은 그들의 개입이 정확하고 플레이어의 안전 감각이 점차 높아지고 있다고 느끼고 있습니다. 후세인은 “위반 사례를 크게 줄인 성과를 거두었고, 약 90%의 플레이어가 레크룸에서 안전하고 환영받는다고 보고했습니다. 정의가 실현되는 것뿐만 아니라, 플레이어들이 이러한 변화를 목격하는 것이 커뮤니티 기준이 지켜지고 있다는 것을 reinforce하는 데 중요합니다.”라고 말했습니다.
AI 기반 음성 moderation의 미래
레크룸을 더욱 안전하고 즐거운 환경으로 만들기 위해 톡스모드는 정책 위반 및 플레이어 상호 작용과 관련된 데이터를 지속적으로 분석하고 있습니다. moderation은 독성 행동을 단념시키는 것뿐만 아니라 플레이어 경험을 향상시키는 행동을 촉진하는 방향으로 발전해야 합니다. 프룸킨은 “우리는 친사회적 행동을 인지하는 능력을 개발하고 있습니다. 지원적이거나 긴장된 상황을 해소하는 데 능숙한 플레이어를 인식함으로써 커뮤니티 내에서 역할 모델을 강조할 수 있습니다. 긍정적인 영향을 증대시키면 환경이 크게 개선될 수 있습니다.”라고 전했습니다.
특히 실시간 오디오에서의 음성 moderation은 상당한 도전을 안고 있습니다. 그러나 AI 기반 도구는 moderation 전략을 혁신하고 개발 팀의 역량을 확장하고 있습니다. 후세인은 “이러한 발전은 우리의 야망을 높이는 데 도움을 줍니다. 어제 불가능해 보였던 것들이 이제는 실현 가능해졌습니다. 머신러닝 기술의 효율성 및 효력에서 상당한 개선을 목격하고 있으며, 이는 커뮤니티 안전을 우선시할 새로운 기회를 제공합니다.”라고 밝혔습니다.
게임 내 독성 문제를 해결하는 전략, 플레이어 행동을 변화시키는 방법 및 머신러닝의 변혁적 영향을 아는 데 관심이 있으시다면, 이 유익한 VB 스포트라이트를 놓치지 마세요. 무료로 제공되는 온디맨드 콘텐츠입니다.
순위 목록
