Компания Mistral AI представила Robostral Navigate — свою первую специализированную модель искусственного интеллекта для автономной навигации роботов. Модель с 8 млрд параметров позволяет роботам перемещаться в сложных помещениях и на открытых площадках, используя только одну обычную RGB-камеру и текстовую инструкцию на естественном языке.
В отличие от большинства современных систем роботизированной навигации, которым требуются LiDAR, камеры глубины или многокамерные комплексы, Robostral Navigate обходится минимальным набором оборудования. Это снижает стоимость роботов, уменьшает энергопотребление и упрощает интеграцию системы в самые разные мобильные платформы.
Разработчики демонстрируют, что робот способен понимать сложные последовательные команды, например: «Выйди из вестибюля, пройди по коридору, зайди на склад и остановись перед второй полкой». После получения инструкции модель самостоятельно строит маршрут, избегает людей и препятствий, а также адаптируется к объектам, которых не встречала во время обучения.
Навигация по изображению вместо карты
Ключевой особенностью Robostral Navigate стал новый принцип принятия решений, основанный на визуальном указании цели (pointing).
Если конечная цель находится в поле зрения камеры, модель предсказывает координаты нужной точки непосредственно на изображении, а также желаемую ориентацию робота после достижения цели. Такой подход оказывается менее чувствительным к изменениям масштаба сцены и параметров камеры, чем традиционные методы, использующие абсолютные координаты.
Если же цель временно скрыта за пределами обзора, система автоматически переключается на резервный режим и выдаёт локальные команды перемещения — например, пройти несколько метров вперёд, сместиться в сторону и выполнить поворот.
Обучение полностью в виртуальной среде
В отличие от многих современных робототехнических моделей, Robostral Navigate не использует готовые открытые визуально-языковые модели. В качестве основы Mistral AI разработала собственную модель компьютерного зрения и понимания языка, первоначально обученную задачам локализации объектов, подсчёта и визуального «заземления» команд.
Для обучения навигации инженеры создали полностью симуляционный конвейер, который сгенерировал около 400 тысяч траекторий в 6000 виртуальных сценах. Такой подход значительно сокращает стоимость подготовки данных и позволяет моделировать широкий спектр реальных ситуаций.
Быстрое обучение и самообучение
Одним из технических достижений проекта стала новая схема обучения с использованием кэширования префиксов и древовидной маски внимания. Она позволяет обрабатывать целые эпизоды движения за один проход модели, сокращая объём обучающих токенов примерно в 22 раза без потери информации.
После основного этапа обучения разработчики применили собственный алгоритм онлайн-обучения с подкреплением CISPO, благодаря которому робот начинает учиться методом проб и ошибок, осваивает восстановление после неудачных действий и приобретает исследовательское поведение. По данным Mistral AI, этот этап повысил успешность выполнения задач ещё на 3,2 процентного пункта.
Лучший результат среди однокамерных систем
Эффективность Robostral Navigate оценивалась на международном бенчмарке R2R-CE (Room-to-Room in Continuous Environments), который используется для проверки способности роботов выполнять текстовые инструкции в незнакомых трёхмерных пространствах.
Модель достигла 76,6% успешных навигаций на наиболее сложном наборе validation unseen, где роботы работают в ранее неизвестных помещениях. По данным разработчиков, это на 9,7 процентного пункта лучше предыдущих решений, использующих только одну RGB-камеру, и примерно на 4,5 пункта превосходит лучшие многосенсорные системы с LiDAR или датчиками глубины.
Универсальная модель для разных типов роботов
По заявлению Mistral AI, Robostral Navigate может использоваться на самых разных мобильных платформах — колёсных роботах, шагающих машинах и беспилотных летательных аппаратах. Это делает модель перспективной для складской логистики, промышленной автоматизации, гостиничного сервиса, доставки и других областей, где роботам необходимо самостоятельно ориентироваться в постоянно меняющейся среде.
Хотя пока модель демонстрировалась преимущественно в симуляции и на стандартных тестовых сценариях, её результаты показывают, что современные большие мультимодальные модели постепенно становятся основой для создания универсальных автономных роботов, способных понимать человеческие инструкции и безопасно действовать в реальном мире.
Если вам понравился материал, кликните значок — вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал —не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!
