1X의 혁신적인 생성 모델: 현실 로봇 상호작용 예측의 선두주자

로봇 스타트업 1X Technologies가 로봇 시스템의 훈련 효율성을 높이기 위해 혁신적인 생성 모델을 발표했습니다. 최신 블로그 게시물에서 언급된 이 모델은 로봇의 행동에 따른 환경 변화 예측, 즉 "세계 모델"을 만드는 주요 과제를 해결합니다.

실제 공간에서 로봇을 훈련하는 것은 비용과 위험이 수반되어 로봇 공학자들은 실제 배치 전에 시뮬레이션된 환경에서 모델을 개발하는 데 의존하고 있습니다. 그러나 시뮬레이션과 실제 물리적 환경 간의 불일치는 중요한 도전에 직면하게 합니다.

"로봇 공학자들은 종종 실제 세계의 '디지털 트윈' 역할을 하는 수동적으로 설계된 장면을 만들고, MuJoCo, Bullet, Isaac과 같은 강체 시뮬레이터를 활용하여 동역학을 시뮬레이션합니다,"라고 1X Technologies의 AI 부사장 에릭 장이 설명했습니다. "하지만 이러한 디지털 트윈은 물리학과 기하학에서 부정확성을 가질 수 있어 'sim2real 차이'를 초래합니다. 예를 들어, 온라인에서 다운로드한 문 모델은 테스트 중 사용한 문과 같은 스프링 강성을 재현하지 못할 수 있습니다."

생성 세계 모델

이러한 격차를 극복하기 위해 1X의 혁신적인 모델은 로봇에서 직접 수집한 원시 센서 데이터를 기반으로 실제 세계의 동역학을 시뮬레이션하는 방법을 학습합니다. 이 모델은 회사의 휴머노이드 로봇이 가정 및 사무 환경에서 수행하는 다양한 모바일 조작 작업의 수천 시간에 달하는 비디오 및 액추에이터 데이터를 분석합니다.

"우리는 1X 사무실에서 데이터를 수집하고 Android Operators 팀의 지원을 받아 주석 작업과 필터링을 진행했습니다,"라고 장은 말했습니다. "실제 상호작용으로부터 직접 시뮬레이터를 구축함으로써 데이터 풀의 확장과 함께 실제 시나리오에 더 밀접하게 일치하는 동역학을 달성할 수 있습니다."

개발된 세계 모델은 물체 상호작용을 시뮬레이션하는 데 뛰어납니다. 회사가 공유한 비디오에서는 로봇이 상자를 잡고 다양한 물체와 상호작용하는 시나리오를 정확히 예측하는 모델의 능력이 확인됩니다. 이 모델은 장애물을 피하고 사람과의 안전 거리를 유지하는 등 복잡한 동역학도 고려합니다.

생성 모델의 도전

진전을 보였지만, 이 모델은 환경 변화로 인해 지속적인 도전에 직면해 있습니다. 모든 시뮬레이터와 마찬가지로 작동 환경이 변화함에 따라 업데이트가 필요합니다. 그러나 연구자들은 모델의 학습 접근 방식이 쉬운 업데이트를 촉진한다고 믿고 있습니다.

"생성 모델은 훈련 데이터가 오래된 경우 sim2real 차이를 경험할 수 있습니다,"라고 장은 인정했습니다. "목표는 수동 조정 없이 새로운 실제 데이터를 통해 지속적으로 수정될 수 있는 학습 시뮬레이터를 만드는 것입니다."

1X의 접근 방식은 OpenAI Sora와 Runway와 같은 발전에서 영감을 받아 생성 모델이 적절한 훈련 데이터를 통해 시간에 따라 일관성을 유지할 수 있도록 개발될 수 있음을 보여줍니다.

다른 모델들이 일반적으로 텍스트 입력에서 비디오를 생성하는 반면, 1X는 생성 단계에서 동적으로 반응하는 생성 시스템에 초점을 맞추어 혁신의 선두주자로 자리 잡고 있습니다. 예를 들어, 구글 연구자들은 비슷한 기술을 사용하여 게임 DOOM과 같은 대화형 환경을 시뮬레이션하는 생성 모델을 훈련시켰습니다.

이러한 발전에도 불구하고 여전히 해결해야 할 과제가 존재합니다. 명확히 정의된 세계 시뮬레이터가 없으면 비현실적인 시나리오가 발생할 수 있습니다. 모델이 중형 물체가 떨어지지 않을 것이라고 잘못 예측하거나 물체가 프레임 사이에서 사라질 수 있습니다. 이러한 문제를 해결하려면 지속적인 노력이 필요합니다.

잠재적인 해결책은 더 많은 데이터를 지속적으로 수집하여 모델 훈련을 개선하는 것입니다. "최근 생성 비디오 모델링의 발전은 놀라웠으며, OpenAI Sora의 결과는 데이터와 컴퓨팅 능력의 확장이 상당한 개선을 이끌어낼 수 있음을 보여줍니다,"라고 장은 언급했습니다.

1X는 커뮤니티와 적극적으로 협력하고 있으며, 모델과 가중치를 공개하고 모델 개선에 기여하는 참가자에게 상금을 제공하는 대회를 계획하고 있습니다.

"우리는 세계 모델링 및 비디오 생성에 대한 다양한 방법을 탐색하고 있습니다,"라고 장은 결론짓고, 회사의 지속적인 혁신에 대한 의지를 강조했습니다.