Представьте себе устройство на запястье, которое не просто считает шаги и измеряет пульс, а способно определить, как вы приседаете, поднимаете руки, выполняете силовые упражнения или ходите. Причём для этого ему не нужны камеры, закреплённые на теле датчики или смартфон в кармане. Именно такую возможность продемонстрировала исследовательская группа Корнеллского университета (Cornell University), разработавшая технологию EchoMotion.
В её основе лежит принцип акустического зондирования, напоминающий работу сонара. Смарт-часы излучают высокочастотные звуковые сигналы, которые отражаются от частей тела и возвращаются к встроенному микрофону. Небольшая модель искусственного интеллекта анализирует полученные эхо-сигналы и восстанавливает пространственное положение основных суставов.
«Это очень важный скачок в технологиях отслеживания движений тела», — отметил ведущий автор исследования Саиф Махмуд (Saif Mahmud), аспирант Корнеллского университета.
Как смарт-часы «видят» движения без камер

Сегодня для отслеживания движений всего тела обычно применяются системы компьютерного зрения или комплекты датчиков, закрепляемых на различных участках тела. Обычные смарт-часы располагают преимущественно инерциальными измерительными модулями (IMU), включающими акселерометры и гироскопы. Они хорошо справляются с подсчётом шагов и определением положения самого устройства, но не позволяют достоверно восстановить движения остальных конечностей. Например, по показаниям датчиков на запястье трудно определить, поднята ли противоположная рука, выполняет ли человек приседание и как расположены его ноги.
Ранее исследователи пытались решить эту проблему, объединяя данные нескольких носимых устройств. Так, системы IMUPoser и UltraPoser использовали информацию от смарт-часов, смартфонов и беспроводных наушников. Другим вариантом стали миниатюрные камеры, размещаемые на браслетах, как в проекте BodyTrak, разработанном ранее исследователями Корнеллского университета. Однако такие решения увеличивают энергопотребление и создают дополнительные риски для приватности.
EchoMotion предлагает альтернативный подход. Динамик часов излучает высокочастотные акустические сигналы в диапазоне примерно 18–24,5 кГц. Отражаясь от рук, ног и туловища, а также от окружающих поверхностей, звуковые волны возвращаются к микрофону. Изменения положения тела влияют на характеристики отражённого сигнала, формируя своеобразную акустическую картину движений.
Модель машинного обучения анализирует эти изменения и восстанавливает упрощённую трёхмерную модель скелета. Система оценивает положение 12 анатомических ориентиров — от головы до лодыжек. Для анализа используется акустическая информация за временные интервалы продолжительностью около 0,75 секунды.
Одно из преимуществ метода заключается в возможности оценивать положение частей тела, которые непосредственно не видны со стороны часов. Для этого используются отражения звуковых волн от тела, пола и окружающих поверхностей. Дополнительную информацию модели дают закономерности человеческой биомеханики: движения конечностей взаимосвязаны, поэтому изменение положения одной части тела позволяет уточнить оценку положения других.
«Хотя крупные языковые модели, такие как ChatGPT, находятся в центре внимания, EchoMotion показывает, что небольшие модели искусственного интеллекта, работающие непосредственно на носимых устройствах, также способны существенно изменить технологии сенсорного восприятия и взаимодействия человека с компьютером», — отметил соавтор работы Франсуа Гимбретьер (François Guimbretière), профессор информационных наук Корнеллского университета.
От лабораторного прототипа к серийным смарт-часам
Разработкой EchoMotion занималась лаборатория Smart Computer Interfaces for Future Interactions (SciFi) Корнеллского университета под руководством доцента Чэна Чжана (Cheng Zhang).
Первоначально исследователи создали собственный прототип часов с помощью 3D-печати. Он оснащался двумя парами динамиков и микрофонов, расположенными по обе стороны корпуса. Динамики формировали акустическое поле вокруг пользователя, а микрофоны регистрировали отражённые сигналы.
В испытаниях участвовали 10 добровольцев, выполнявших 18 различных упражнений и движений, включая приседания, выпады, подъёмы рук, прыжки и ходьбу. Полученные акустические данные использовались для обучения модели. Точность восстановления положения суставов оценивали сравнением с эталонными данными, полученными с помощью камер.
Однако главной задачей было доказать, что технология будет работать не только на специально изготовленном устройстве, но и на обычных смарт-часах.
Для этого исследователи перенесли систему на серийные Samsung Galaxy Watch 6, использовав единственные встроенные динамик и микрофон без каких-либо аппаратных модификаций. В испытаниях с участием 15 новых добровольцев средняя ошибка определения положения суставов составила около 9,3 см для пользователей, движения которых ранее не использовались при обучении модели.
После дополнительной калибровки с использованием 12 минут данных конкретного пользователя ошибка снизилась примерно до 6 см. Таким образом, небольшая предварительная настройка позволила существенно повысить точность отслеживания.
Исследователи также проверили работу той же модели на Samsung Galaxy Watch 7 и Google Pixel Watch 3. Для этих устройств не потребовалось повторного обучения: точность определения положения суставов у новых пользователей оказалась сопоставимой с результатами Galaxy Watch 6.
Важным результатом стала возможность выполнять обработку непосредственно на часах, без передачи акустических данных на внешний компьютер. По оценке исследователей, энергопотребление акустической системы прототипа составляло около 12 мВт — приблизительно в 40 раз меньше, чем у носимой камеры. Во время 30-минутного сеанса работы EchoMotion на Galaxy Watch 6 расход заряда аккумулятора составлял около 5–6%.
Команда также проверила систему в условиях, приближенных к реальным: участники выполняли упражнения в небольшом помещении, узком коридоре и рядом с шумной дорогой. Мебель и фоновый шум практически не влияли на результаты, однако в коридоре точность несколько снижалась из-за дополнительных отражений звука от проходивших мимо людей.
Персональный тренер и контроль реабилитации
У EchoMotion есть ограничения. Высокочастотные звуковые волны плохо проходят через плотную одежду, поэтому для надёжного отслеживания движений пользователям приходится носить одежду с короткими рукавами или закатывать манжеты. Кроме того, одновременное выполнение сложных движений верхней и нижней частью тела может затруднять интерпретацию акустических сигналов.
Исследователи рассчитывают повысить устойчивость системы за счёт расширения обучающих выборок: вместо нескольких десятков участников предполагается использовать данные тысяч пользователей.
Одно из наиболее перспективных направлений применения EchoMotion — создание интеллектуальных систем контроля физических упражнений. В перспективе часы смогут не только подсчитывать повторения, но и оценивать правильность выполнения движений, выявлять ошибки в технике и давать рекомендации. Это может быть полезно как в спортивных залах, так и при восстановлении пациентов после травм, когда важно контролировать правильность выполнения реабилитационных упражнений.
Ещё одно направление — объединение EchoMotion с умными очками. Камеры очков смогут определять, на какие предметы смотрит человек и с какими объектами взаимодействует, а смарт-часы — отслеживать движения его тела. Такое сочетание позволит получить более полное представление о повседневной активности без необходимости постоянно использовать видеосъёмку всего окружения.
«В самом ближайшем будущем носимые устройства, такие как смарт-часы и умные очки, смогут работать с персональным агентом, который будет описывать весь ваш день — что вы делали, что ели. Наш проект обеспечивает необходимую для такого сценария технологию отслеживания движений тела», — рассказал Саиф Махмуд.
Впрочем, здесь возникает и вопрос, выходящий за рамки спортивных приложений. Если обычные часы смогут практически непрерывно восстанавливать движения всего тела, насколько далеко должна заходить такая регистрация повседневной активности? И кто в конечном счёте должен контролировать накопленные сведения о наших движениях — сам пользователь, производитель устройства или разработчик персонального ИИ-агента?
Источник: https://www.zmescience.com/future/smartwatch-sonar-tracking/Если вам понравился материал, кликните значок — вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал —не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!

