Гуманоидных роботов научили «предугадывать прикосновения» для работы в реальном мире

В отличие от большинства существующих систем, опирающихся преимущественно на компьютерное зрение, HTD активно использует тактильную и силовую обратную связь. Робот не просто реагирует на контакт, а пытается заранее предсказать, как он изменится во время выполнения действия. Исследователи называют этот подход «мечтанием о прикосновении» (touch dreaming).

Подобная способность особенно важна для задач, которые остаются сложными даже для современных гуманоидных платформ: складывание ткани, перенос хрупких предметов, зачерпывание сыпучих материалов или манипуляции с объектами, положение которых постоянно меняется. В таких сценариях одной только визуальной информации недостаточно — малейшее изменение контакта может привести к полной потере контроля над задачей.

В основе HTD лежит трансформерная модель, обученная методом имитационного обучения. Однако система предсказывает не только будущие действия робота, но и будущие тактильные состояния, силы и взаимодействия с объектом. Вместо обработки «сырых» данных сенсоров модель использует компактные латентные представления тактильной информации, что помогает снизить влияние шумов и сосредоточиться на действительно значимых физических взаимодействиях.

Дополнительной особенностью платформы стала разделённая архитектура управления телом. Нижняя часть робота отвечает за поддержание баланса и устойчивости, тогда как верхняя часть занимается манипуляциями и движениями рук. Такой подход снижает взаимное влияние между локомоцией и работой манипуляторов — одной из ключевых проблем гуманоидной робототехники.

Во время испытаний система выполняла пять сложных реальных задач, включая складывание полотенец, организацию книг, уборку кошачьего наполнителя и подачу чая. По данным разработчиков, HTD обеспечила улучшение успешности выполнения задач почти на 91% по сравнению с сильной базовой системой ACT.

Исследователи подчёркивают, что простой интеграции тактильных сенсоров оказалось недостаточно. Наиболее важным фактором стала именно способность модели прогнозировать будущие изменения контакта, формируя внутреннее представление о развитии физического взаимодействия.

Платформа объединяет сразу несколько технологий: управление телом на базе обучения с подкреплением, обратную кинематику, VR-телеоперацию, тактильное сенсорное восприятие и имитационное обучение. Часть программного кода уже опубликована на GitHub в открытом доступе.

Авторы проекта считают, что подобные системы могут стать важным шагом к созданию гуманоидных роботов, способных работать в больницах, магазинах, домах и на производстве — в условиях, где требуется постоянное взаимодействие с непредсказуемой физической средой, а не только выполнение заранее заданных движений.