Google DeepMind научила роботов управлять всем телом, работать пальцами и координироваться друг с другом

Три уровня управления

Gemini Robotics 2 — модель типа vision-language-action (VLA), которая преобразует визуальную и языковую информацию непосредственно в команды для исполнительных механизмов. Она способна управлять гуманоидом целиком — от ног до кончиков пальцев — а также двуручными роботами. Модель поддерживает работу как с многопальцевыми руками, так и с параллельными захватами.

Gemini Robotics ER 2 выполняет роль высокоуровневого «мозга» робототехнической системы. Модель анализирует физический мир, взаимодействует с человеком и планирует многоступенчатые действия продолжительностью несколько минут. Затем она может передавать выполнение отдельных операций VLA-модели или другим подключённым инструментам.

Третья модель — Gemini Robotics On-Device 2 — оптимизирована для работы непосредственно на роботе. Она принимает текст, изображения и данные проприоцепции и выдаёт управляющие действия, что позволяет использовать её в условиях ограниченной связи и минимизировать сетевые задержки.

От настольных задач к управлению всем телом

Одной из главных демонстраций стала работа с гуманоидом Apollo 2 компании Apptronik. Если предыдущие модели Gemini Robotics управляли преимущественно верхней частью робота, то Gemini Robotics 2 способна координировать движения всего тела. Например, по команде поставить лейку в зелёный контейнер на нижней полке робот самостоятельно подходит к столу, берёт предмет, перемещается к стеллажу и размещает его в нужном месте.

Модель также продемонстрировала управление пятипальцевой рукой SharpaWave с 22 степенями свободы. Среди задач — завязывание узлов, работа с пакетами Ziplock и обращение с различными предметами. При этом та же модель способна работать с обычными параллельными захватами на платформе Franka Duo.

В отдельных тестах успешность выполнения задач достигала 92% при откручивании лампы многопальцевой рукой и 89,6% для задач точной вставки на Franka Duo. Однако более сложные манипуляции пока остаются значительно менее надёжными: например, успешность завязывания мусорного пакета составила 44%, а работы с Ziplock — 40%.

Роботам предстоит научиться понимать ход выполнения задачи

Gemini Robotics ER 2 решает другую проблему — определение того, что происходит во время выполнения многошаговой операции и когда она действительно завершена. В тесте классификации прогресса модель правильно определяла стадию выполнения с точностью 57,4%. Для поиска момента наступления критического события, например прекращения налива жидкости, точность достигла 91,3%, а средняя ошибка определения момента составила 0,96 секунды.

ER 2 также может работать с инструментами и робототехническими API. DeepMind продемонстрировала её применение с роботом Spot компании Boston Dynamics для координации навигации и манипуляций.

Несколько роботов — одна система

Ещё одно направление Gemini Robotics 2 — совместная работа различных робототехнических платформ. Идея заключается в том, что специализированные роботы могут передавать друг другу подзадачи в зависимости от своих возможностей. В демонстрации Apollo 2 взаимодействовал с мобильной платформой Franka F3 Duo, используя общее семантическое представление задачи.

On-Device 2, в свою очередь, получила возможность быстрее адаптироваться к новым роботам. По данным DeepMind, перенос на новые двуручные платформы может занимать несколько часов и требовать менее 200 примеров даже при существенных различиях в конструкции, сенсорах и количестве степеней свободы.

Таким образом, Gemini Robotics 2 превращает ИИ для роботов из набора узкоспециализированных навыков в многоуровневую систему: одна модель планирует действия, другая непосредственно управляет роботом, а локальная версия позволяет выполнять их без постоянного подключения к облаку. При этом результаты тестов показывают, что надёжность сложных многошаговых и высокоточных манипуляций пока остаётся одним из главных ограничений технологии.