인간 큐 제공 강화 학습: AI 시스템의 오류를 수정하는 혁신적인 접근법

캘리포니아 대학교 버클리 캠퍼스의 과학자들은 ‘개입 피드백을 통한 강화 학습(Reinforcement Learning via Intervention Feedback, RLIF)’이라는 혁신적인 기계 학습 기법을 소개했습니다. 이 접근법은 복잡한 환경에서 AI 시스템의 훈련을 단순화합니다.

RLIF는 강화 학습과 상호작용 모방 학습을 결합한 것으로, 인공지능 훈련에 필수적인 두 가지 방법입니다. 이 방법은 보상 신호가 드물고 인간 피드백이 정확하지 않은 상황에서 특히 유용하며, 이는 로봇 훈련에서 흔히 발생하는 문제입니다.

기법 이해하기: 강화 학습과 모방 학습

강화 학습은 명확한 보상 기능이 있는 환경에서 뛰어난 성능을 발휘하며, 최적 제어, 게임 및 대규모 언어 모델(LLM)을 인간 선호에 맞추는 데 효과적입니다. 그러나 복잡한 목표가 명시적인 보상 신호를 결여한 로봇 분야에서는 어려움을 겪습니다.

이런 경우, 엔지니어들은 보상 신호가 필요 없는 모방 학습을 선택합니다. 이 방법은 사람의 시연에 기반하여 모델을 훈련시킵니다. 예를 들어, 사람이 로봇 팔을 조종해 물체를 조작하는 모습을 보여주면, AI는 이를 훈련 데이터로 사용합니다. 그러나 모방 학습은 ‘분포 불일치 문제’와 같은 도전 과제에 직면할 수 있습니다. 이는 에이전트가 훈련 사례 외의 상황에 직면할 때 성능이 저하되는 현상입니다.

상호작용 모방 학습은 전문가가 실시간으로 피드백을 주어 에이전트를 수정함으로써 이 문제를 해결합니다. 그러나 이 방법은 최적의 개입에 의존하는 경우가 많아 로봇 분야에서는 인간의 정밀도가 다를 수 있어 항상 가능하지는 않습니다.

접근법 통합: 강화 학습과 모방 학습

버클리 연구팀은 강화 학습과 상호작용 모방 학습의 장점을 활용하는 혼합 모델을 제안합니다. RLIF는 오류를 인식하는 것이 완벽한 수정 작업을 수행하는 것보다 일반적으로 더 쉽다는 통찰을 기반으로 합니다.

예를 들어, 자율 주행 같은 복잡한 작업에서 개입(예: 브레이크를 순간적으로 밟기)은 편차를 알리는 신호를 제공하지만 최적의 반응 모델을 제공하지는 않습니다. RL 에이전트는 행동을 모방하기보다는 개입을 유발한 상황을 피하는 데 집중해야 합니다.

연구자들은 “상호작용 모방 과정에서 개입 결정을 내리는 것은 강화 학습을 위한 보상 신호를 제공할 수 있다”고 말합니다. 이는 RL 방법이 상호작용 모방 학습과 유사하지만 더 유연한 가정 하에 작동할 수 있게 하며, 인간 개입을 최적이라 가정하지 않고 활용할 수 있음을 보여줍니다.

RLIF는 시연과 상호작용 개입을 결합하여 AI를 훈련하지만, 이 개입을 최적의 행동에 대한 확정적인 지침이 아니라 잠재적 오류의 지표로 간주합니다.

연구자들은 “훈련된 정책이 비최적 행동을 할 때 전문가가 개입할 가능성이 더 높다”고 강조하며, 이러한 개입이 AI 행동 수정을 위한 소중한 신호로 작용함을 설명합니다.

전통적인 강화 학습과 상호작용 모방 학습의 한계를 극복한 RLIF는 복잡한 환경에서 보다 실용적인 방법을 제시합니다. 연구팀은 “전문가가 항상 최적의 행동을 취하기보다는 바람직하지 않은 상태를 쉽게 식별할 수 있다”고 덧붙였습니다.

RLIF 테스트

버클리 팀은 RLIF의 성능을 저명한 상호작용 모방 학습 알고리즘인 DAgger와 비교했습니다. 시뮬레이션 환경에서 RLIF는 DAgger의 주요 변형보다 평균 2배에서 3배 더 뛰어난 성능을 보였으며, 전문가의 개입이 비최적일 경우 이 차이는 5배로 확대되었습니다.

물체 조작 및 옷 개기와 같은 실제 로봇 도전 과제를 포함한 테스트는 RLIF의 견고성과 실용성을 입증했습니다. RLIF는 높은 데이터 요구와 실시간 배포의 복잡성이라는 몇 가지 도전 과제가 있지만, 다양한 응용 프로그램에서 고급 로봇 시스템을 훈련시키는 데 큰 잠재력을 지니고 있어 AI 분야에서 혁신적인 도구로 자리 잡고 있습니다.