Инновационная генеративная модель 1X: Пионер в прогнозировании взаимодействий роботов в реальном мире

Стартап в области робототехники 1X Technologies представил революционную генеративную модель, разработанную для повышения эффективности обучения роботизированных систем в имитационных средах. В своем последнем блоге компания подчеркнула, что эта модель решает ключевую задачу в робототехнике: создание «мировых моделей», которые точно предсказывают, как окружающая среда меняется в ответ на действия робота.

Обучение роботов непосредственно в физических пространствах сопряжено с высокими затратами и рисками, что заставляет робототехников опираться на имитационные среды для разработки моделей перед реальным внедрением. Однако расхождения между симуляциями и реальными условиями могут стать серьезной проблемой.

«Робототехники часто создают вручную сконструированные сцены, которые служат 'цифровыми двойниками' реального мира, используя симуляторы жестких тел, такие как MuJoCo, Bullet и Isaac для моделирования динамики», - объяснил Эрик Джанг, вице-президент по ИИ в 1X Technologies. «К сожалению, эти цифровые двойники могут содержать неточности в физике и геометрии, что приводит к 'разрыву sim2real'. Например, модель двери, скачанная из интернета, может не воспроизводить такую же жесткость пружины в ручке, как дверь, использованная при тестировании».

Генеративные мировые модели

Чтобы преодолеть этот разрыв, инновационная модель 1X обучается симулировать реальные динамики, основываясь на сырых сенсорных данных, собранных непосредственно с роботов. Она анализирует тысячи часов видео и данных актуаторов с гуманоидных роботов компании, выполняющих разнообразные манипуляции в домашних и офисных условиях.

«Мы собрали данные из офисов 1X, поддерживаемые командой андроид-операторов для аннотации и фильтрации», - отметил Джанг. «Создавая симулятор непосредственно из взаимодействий с реальным миром, мы можем достигать динамики, которая лучше соответствует реальным сценариям по мере расширения пула данных взаимодействия».

Разработанная мировая модель преуспевает в симуляции взаимодействий объектов. Опубликованные компанией видео демонстрируют способность модели точно предсказывать сценарии, такие как захват коробок роботом и взаимодействие с различными объектами — от жестких тел до деформируемых предметов, таких как занавески и белье, принимая во внимание сложные динамические аспекты, такие как избегание препятствий и соблюдение безопасных дистанций от людей.

Проблемы генеративных моделей

Несмотря на эти достижения, модель сталкивается с продолжающимися трудностями из-за изменений в окружении. Как и любой симулятор, она требует обновлений по мере эволюции операционной среды. Однако исследователи считают, что подход модели к обучению облегчает обновления.

«Генеративная модель может столкнуться с разрывом sim2real, если ее обучающие данные устарели», - признал Джанг. «Цель состоит в создании обучаемого симулятора, который можно постоянно уточнять с помощью новых данных из реального мира без необходимости в ручной настройке».

Подход 1X вдохновлен достижениями, такими как OpenAI Sora и Runway, которые показывают, что генеративные модели могут быть разработаны для поддержания согласованности со временем при наличии соответствующих обучающих данных.

Хотя другие модели обычно генерируют видео на основе текстовых вводов, фокус 1X на генеративных системах, которые динамически реагируют в процессе генерации, ставит компанию на передний край инноваций. Например, исследователи Google применили аналогичные технологии для обучения генеративных моделей, способных симулировать интерактивные среды, такие как игра DOOM.

Несмотря на эти достижения, проблемы остаются. Отсутствие четко определенного симулятора мира иногда может приводить к не реалистичным сценариям — например, модель может ошибочно предсказать, что подвешенный объект не упадет или может вызвать исчезновение объекта между кадрами. Решение этих вопросов потребует постоянных усилий.

Потенциальным решением является непрерывное накопление дополнительных данных для улучшения обучения модели. «Недавние достижения в генеративном моделировании видео поразительны, и результаты OpenAI Sora показывают, что масштабирование данных и вычислительных мощностей может привести к значительным улучшениям», - отметил Джанг.

1X активно вовлекает сообщество в эту инициативу, выпуская свои модели и веса, планируя конкурсы с денежными призами для участников, способствующих уточнению моделей.

«Мы изучаем различные методы моделирования мира и генерации видео», - заключил Джанг, подчеркнув приверженность компании к постоянным инновациям.