По данным Google, SL2T обучена более чем на 100 тыс. часов видеоданных, охватывающих свыше 50 жестовых языков. Около четверти обучающего массива приходится на американский жестовый язык (ASL). Модель предназначена для потокового перевода жестов в текст и на первом этапе будет работать с ASL.
Технология интегрируется в Gboard и Live Transcribe на смартфонах Pixel 11. Пользователь сможет жестами вводить поисковые запросы, сообщения и документы, а также формулировать запросы для Gemini. В Live Transcribe система позволит отвечать на сообщения жестами без необходимости набирать текст на клавиатуре.
Не просто распознавание жестов
Создание такого переводчика значительно сложнее обычной системы распознавания речи. Жестовые языки имеют собственную грамматику и лексику и не являются буквальным представлением английского или другого разговорного языка с помощью движений рук.
Кроме того, смысл передаётся не только положением кистей. Важную роль играют движения рук и предплечий, положение тела, головы и выражение лица. Поэтому SL2T должна одновременно анализировать большое количество пространственно-временных признаков.
Вместо традиционного подхода с промежуточным переводом жестов в так называемые глоссы SL2T преобразует последовательность движений непосредственно в текст. По мнению разработчиков, это позволяет лучше учитывать сложные грамматические конструкции и немануальные элементы жестовых языков.
Видео пользователя не отправляется на сервер
Отдельное внимание Google уделила конфиденциальности. На смартфоне система MediaPipe Holistic извлекает из изображения координаты ключевых точек тела, рук и лица. На сервер для перевода передаётся уже последовательность этих геометрических данных, а исходное видео может быть сразу отброшено.
Такой подход одновременно снижает объём передаваемой информации и позволяет не отправлять на сервер исходную видеозапись пользователя.
Результат выше предыдущих рекордов
На тесте FLEURS-ASL, предназначенном для оценки перевода американского жестового языка на английский, SL2T получила около 70 баллов BLEURT. Google утверждает, что это существенно выше ранее опубликованных результатов для данного бенчмарка.
Однако разработчики оптимизировали модель не только под академические тесты. При создании потребительской версии учитывались задержка потокового перевода, устойчивость к движениям, не являющимся жестами, работа с левшами и распознавание жестов одной рукой — сценарий, особенно важный при использовании смартфона.
От ASL — к десяткам жестовых языков
Google рассматривает SL2T как основу более масштабной системы обработки жестовых языков. В дальнейшем компания планирует расширить поддержку других языков, добавить генерацию жестовой речи и интегрировать технологии жестового языка в более широкий спектр ИИ-сервисов.
По сути, Google пытается сделать для жестовых языков то же, что современные системы распознавания речи уже сделали для разговорных: превратить естественный способ коммуникации в полноценный интерфейс взаимодействия с цифровыми устройствами.
Ключевое отличие SL2T от большинства предыдущих проектов — переход от экспериментальных систем распознавания отдельных жестов к полноценному потоковому машинному переводу жестового языка непосредственно в пользовательском устройстве.
Источник: https://deepmind.google/blog/putting-sign-language-ai-into-users-hands/
Если вам понравился материал, кликните значок — вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал —не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!
