Создан универсальный искусственный глаз для гуманоидных роботов

Интеграция сенсоров: ставка на компактность и синхронизацию

Ключевая особенность модуля — объединение сразу нескольких каналов восприятия:

• 2D-видеосенсоры (RGB-IR);
• 3D-датчики глубины (LiDAR по времени пролёта);
• инерциальные измерительные блоки (IMU) для отслеживания движения.

Все компоненты синхронизированы в рамках одного устройства, что позволяет устранить традиционные проблемы робототехники — рассогласование данных, сложную калибровку и задержки при обработке.

Передача данных осуществляется через Holoscan Sensor Bridge с использованием Ethernet, обеспечивая многогигабитный поток сенсорной информации в реальном времени на платформы NVIDIA Jetson.

Фокус на гуманоидных системах

Архитектура модуля оптимизирована под ограничения гуманоидных роботов — прежде всего по габаритам, массе и энергопотреблению (SWaP). Консолидация сенсоров в одном корпусе позволяет:

• снизить количество дискретных компонентов;
• упростить интеграцию в компактные системы;
• повысить надёжность и воспроизводимость восприятия.

Это особенно критично для задач, где требуется «человеко-подобное» восприятие окружающей среды в реальном времени — от навигации до манипуляции объектами.

Связка с экосистемой NVIDIA

Модуль изначально спроектирован для работы с платформой NVIDIA Isaac, которая включает:

• инструменты моделирования и симуляции;
• библиотеки ИИ и компьютерного зрения;
• средства обучения и развертывания моделей.

Такая интеграция решает одну из ключевых проблем отрасли — разрыв между симуляцией и реальным миром. Стандартизированные сенсорные пайплайны позволяют быстрее переносить обученные модели в физические системы.

Техническая база: мультисенсорное ядро

В основе решения лежит набор сенсоров от STMicroelectronics:

• 5,1-МП RGB-IR сенсор с поддержкой глобального и роллинг-затвора;
• 6-осевой IMU с возможностями локального машинного обучения;
• LiDAR-датчик прямого времени пролёта с глубинным картированием до 2300 зон.

LiDAR обеспечивает дальность до 9 метров, широкий угол обзора и частоту до 100 кадров в секунду, что делает систему пригодной для динамических сценариев — например, в логистике или промышленной автоматизации.

Итог

Совместная разработка STMicroelectronics и Leopard Imaging отражает важный сдвиг в робототехнике: переход от разрозненных сенсорных систем к интегрированным платформам восприятия. В сочетании с экосистемой NVIDIA это формирует базу для ускоренного внедрения гуманоидных и автономных систем, где ключевым фактором становится не только интеллект, но и качество сенсорного восприятия окружающей среды.