NVIDIA создала универсальный ИИ-контроллер для управления движениями гуманоидных роботов

Исследователи NVIDIA разработали универсальный контроллер SONIC, предназначенный для управления движениями гуманоидных роботов. Модель преобразует высокоуровневые цели движения в команды для исполнительных систем робота и позволяет использовать разные источники команд — от VR-телеоперации до моделей, связывающих зрительное восприятие и действия, а также языковых систем.

Разработка описана в статье, опубликованной в журнале Science Robotics.

Сегодня обучение гуманоидных роботов различным физическим навыкам часто требует создания и настройки отдельных контроллеров или политик управления. Такой подход усложняет масштабирование: для каждого нового набора движений приходится собирать данные, проводить обучение и адаптировать систему управления.

В NVIDIA попытались решить эту проблему с помощью универсального контроллера, который обучается на разнообразных данных о движениях человека, а затем переносит полученные закономерности на широкий спектр действий.

«Гуманоидные роботы должны двигаться с такой же координацией и адаптивностью, как и люди, но современные системы обучены отдельными контроллерами для разных навыков, что затрудняет их масштабирование. Мы хотели изучить, может ли один обученный контроллер служить основой для многих форм движения всего тела», — отметил директор и выдающийся научный сотрудник NVIDIA Чжу.

Более 100 млн кадров человеческого движения

SONIC представляет собой своего рода базовую моторную модель для гуманоидного робота. Она находится ниже высокоуровневых систем ИИ: получает цель или траекторию движения и преобразует ее в плавные и согласованные команды для всего тела робота.

При обучении исследователи использовали более 100 млн кадров человеческого движения. Благодаря такому объему данных модель должна была изучать не отдельные заранее заданные навыки, а более общие закономерности человеческой моторики.

Затем SONIC испытали в физическом моделировании на широком наборе сценариев передвижения и манипуляций. В том числе проверялось, способна ли модель воспроизводить движения, которые отсутствовали в обучающих данных.

По данным исследователей, контроллер продемонстрировал возможность обобщать приобретенные навыки на новые движения и обеспечивать естественную координацию всего тела. При этом для разных типов движений не требовалось создавать отдельную модель управления.

Особенно важной особенностью SONIC исследователи считают возможность использовать один и тот же контроллер совместно с различными источниками команд. В экспериментах его подключали к системам VR-телеоперации, моделям, генерирующим движения на основе видео и визуального восприятия, а также vision-language-action (VLA) моделям.

Таким образом, высокоуровневая система может определять, что должен сделать робот, а SONIC отвечает за перевод этой цели в физически реализуемое движение. Сам контроллер при этом не заменяет модель, которая понимает язык или планирует последовательность действий.

От VR до языковых команд

Такая архитектура позволяет разделить управление гуманоидом на несколько уровней. На верхнем уровне ИИ может воспринимать окружающую обстановку, интерпретировать команду человека и планировать действие. SONIC находится ближе к исполнительному уровню и обеспечивает координацию движения тела.

В ходе экспериментов исследователи продемонстрировали, что такой контроллер может использоваться как для воспроизведения известных движений, так и для генерации ранее не встречавшихся комбинаций движений. Кроме того, его интеграция с другими компонентами системы позволила показать сценарии дистанционного управления роботом и преобразования письменных инструкций в физические действия.

«Этот подход может приблизить гуманоидную робототехнику к многоразовому моторному интеллекту, который сможет поддерживать широкий спектр приложений без необходимости инженерам создавать новый контроллер для каждой задачи», — объяснил Чжу.

По замыслу NVIDIA, универсальная моторная модель может стать промежуточным звеном между системами рассуждения и физическим исполнением. Это особенно важно для гуманоидов, которым в реальных условиях приходится одновременно поддерживать равновесие, перемещаться и координировать множество суставов при выполнении манипуляций.

Потенциальные области применения включают производство, складскую и логистическую инфраструктуру, где один робот должен выполнять широкий набор физических операций, а не специализироваться на единственном движении.

Следующий шаг — реальная среда

Нынешняя версия SONIC остается прежде всего контроллером движения, поэтому исследователи планируют расширить ее возможности. Один из приоритетов — улучшение учета окружающей среды. Роботу необходимо не только правильно выполнять заданное движение, но и учитывать препятствия, динамические объекты, неровности поверхности и другие изменения обстановки.

Разработчики также намерены улучшить управление при физическом контакте с объектами, повысить качество переноса навыков из симуляции в реального робота и увеличить устойчивость системы в реальных условиях.

«Мы также работаем над улучшением контактной манипуляции, усилением передачи симуляции в реальность и дальнейшим повышением устойчивости в реальных условиях», — отметил Чжу.

В перспективе NVIDIA планирует теснее интегрировать SONIC с платформой Isaac GR00T. Идея заключается в объединении высокоуровневого ИИ, способного воспринимать ситуацию и рассуждать о задаче, с универсальным контроллером всего тела.

Если такой подход удастся масштабировать, архитектура гуманоидного робота может измениться принципиально: вместо набора специализированных контроллеров для ходьбы, захвата предметов, подъема и других действий появится единая моторная модель, которой разные системы ИИ смогут ставить задачи. Однако главным испытанием здесь станет переход от демонстраций и симуляций к надежной работе в непредсказуемой физической среде — там, где робот должен не просто воспроизвести движение, а безопасно адаптировать его к реальному миру.