Электронные системы диагностики, стимуляции и воздействия на человека на примере BAMH и управления – на примере AE-Skin

Основания для совершенствования технологии

Исследование особенностей нервных рецепторов человека представляется интересным направлением на пути создания электронных устройств для изучения, диагностики состояния здоровья человека, а также для совершенствования терапевтических способов воздействия для излечения от разных недугов. В задачах современных разработчиков РЭА для медицины также есть разработка электронных устройств для восприятия прикосновений и безболезненных тактильных откликов с передачей на ПК или сервер консолидированных цифровых данных, имеющих решающее значение для исследования и диагностики медицинских расстройств человека, в том числе психопатического свойства.

Каждый жизненно важный орган человека имеет «выходы» в виде нервных окончаний на разные участки тела: на этом основано механическое и тактильное воздействие на разные точки организма. Механические стимуляторы энергии и повышения настроения человека для отдельных участков ладоней рук и ступни, такие как специальные коврики с резиновыми шипами и шарики для вращения в ладони, а также иглоукалывание давно не воспринимаются как средства нетрадиционной медицины, а рекомендуются при соответствующих нозологиях дипломированными специалистами в области релаксационной и восстановительной медицины. То же касается различных пневмо- и механических массажёров, кресел и столов.

Теперь механические стимуляторы вполне возможно заменить электронными устройствами. Но пока целенаправленное направление развитие мультисенсорных электронных устройств отражает успехи разработчиков неодинаково: в разных странах мира этому уделяют разное финансирование и внимание. Особенно это касается носимых программируемых электронных систем, разработанных для адаптивного воздействия по всему телу. Новые разработки сводятся к созданию компактной электромеханической системы, которая в сочетании с кожей человека как эластичного элемента, накапливающего и отдающего энергию, поддерживает бистабильные режимы деформации кожи с её восстановлением, при этом оказывая влияние на общий тонус организма и в целом медицинское и психическое состояние человека. Последнее весьма важно, поскольку определяет стрессоустойчивость, долголетие и качество жизни людей.

Воздействие на нервные рецепторы человека определяет как отдельные запрограммированные (предсказуемые) сенсорные реакции, так и непредсказуемые реакции организма. Именно поэтому область рассматриваемых исследований является не столько прикладной, сколько стратегической, поскольку влияет на поведение людей. Систематические экспериментальные и теоретические исследования раскрывают основополагающие принципы и практические критерии для работы в естественных анатомических вариациях механических свойств человеческой кожи. К примеру, беспроводной хорошо адаптированный для кожи человека электронный тактильный интерфейс с массивом бистабильных преобразователей служит каналом для передачи цифровых данных для анализа состояния здоровья человека. Причём анализ может осуществляться как в стационаре, так и дистанционно посредством телемедицинских технологий и консультаций после 3D-сканирования на основе смартфона и инерционных датчиков. Особая цель развития электронных тактильных датчиков состоит в улучшении качества жизни пациентов с нарушениями зрения и проприоцепции. Диапазон ярких ощущений и информационного контента может передаваться рецепторам через точечное давление на кожу с помощью безопасных импульсов электрического тока, контролируемых устройствами современной РЭА. Визуальная обратная связь – это недорогое решение, которое графически отображает контактную информацию. К примеру, тактильные сигналы накладываются на изображение с камеры лапароскопа. Понимание этой информации, частично наложенной на реальные изображения, требует обучения, чтобы пользователи могли быстро связать то, что видят, с соответствующей информацией тактильной обратной связи.

Кроме того, электронные тактильные интерфейсы можно использовать для добавления ощущений в виртуальной и дополненной реальности. Диапазон ярких ощущений и информационного контента может передаваться рецепторам через точечное давление на кожу с помощью безопасных импульсов электрического тока, контролируемых устройствами современной РЭА. Так, гибкие устройства, обеспечивающие пространственно-временны́е паттерны прикосновения на участках тела, представляют особый интерес для приложений в медицине, спорте и быту. Несложно себе представить развитие инженерной мысли в XXI веке, если с помощью электроники и пневматических устройств человек научится без помощи рук массировать любые участки своего (и не только) тела и при этом материалами, настолько близко адаптированными к естественному (природному) кожному покрову, что разница по прикосновениям и температурному режиму будет незаметной. Сегодня в этой области проводятся исследования по заказу ведущих производственных концернов. Речь в этой области идёт о заменителях самого человека. Лёгкие и гибкие конструкции таких систем уже имеют массивы вибротактильных приводов, размещаемые менее чем на одном квадратном сантиметре. И даже этот параметр будет совершенствоваться.

С помощью исследований тактильных отзывов подушечек пальцев рук, в том числе изменения температурного режима участков кожи под воздействием электронных и пневматических импульсов, можно улучшить системы и чувствительные к сенсорному давлению экраны смарт-устройств в режиме реального времени. Новую технологию можно использовать для передачи навигационных инструкций, для преобразования музыкальных треков в тактильные паттерны и для поддержки сенсорной заместительной обратной связи для управления роботизированными протезами [5].

Особенности рецепторов в организме человека

Согласно работе Э.Г. Джонса, кожа человека содержит миелинизированные волокна A-бета, реагирующие на механические стимулы, причём интенсивность стимулов коррелирует с частотой их разряда. Эти волокна заканчиваются в тельцах Меркеля, Мейсснера, Пачини или Руффини [4]. Тельца Меркеля-SA1 (медленно адаптирующийся тип I) в пальце чувствительны к постоянной силе, низкой частоте воздействия (f < 5 Гц), динамической деформации кожи и локальным пространственным разрывам. Они обладают высокой чувствительностью к особенностям поверхности и кривизне. Тельца Мейсснера-FAI (быстро адаптирующийся тип I) в четыре раза более чувствительны к динамической деформации/движению кожи, чем тельца SA1. Они моментально реагируют на внезапные воздействия, связанные с предметами, которые держат люди в руках, на давление и вибрации в диапазоне от 5 до 50 Гц. Тельца Руффини-SAII (медленно адаптирующийся тип II) формируют нервные отклики о направлении движения или силы воздействия, особенно когда движение связано с растяжением кожи. То есть чувствительны к растяжению кожи и постоянным силам. Тельца Пачини-FAII (быстро адаптирующийся тип II) помогают определить значительной силы напряжения и деформации кожи при низкой частоте воздействия на них, возникающих при повседневной ручной деятельности. Также они чувствительны к пространственному разрешению и реагируют на удалённые стимулы воздействия. Тельца FAII чувствительны к микрометрическим деформациям и вибротактильным стимулам в диапазоне от 40 Гц до более чем 400 Гц. Более того, по мере увеличения интенсивности стимулов происходит почти пропорциональное увеличение пикового ответа FAII на низких частотах воздействия. Таким образом, когда стимул (воздействие) вызывает смещение кожи до значения ≥ 6 мкм на частоте ≤ 128 Гц, он вызывает более высокую пиковую реакцию FAII по сравнению с частотами выше 128–130 Гц [4, 9].

Кинестетическая обратная связь реализована прямой обратной связью относительно приложенного усилия (воздействия). Поэтому потребовалось внедрение схем управления в существующую архитектуру с добавлением сенсорных устройств с двусторонней связью между сенсорными датчиками и исполнительными механизмами. Обратная связь на небольших расстояниях вполне стабильна, однако если расстояние будет существенно расширено до 50 метров и более, стабильностью системы придётся пожертвовать. Для улучшения технологичности и устойчивости к помехам (надёжности) тактильных сигналов предложены роботизированные системы, такие как Foldaway и FingerPrint. Однако и они нуждаются в дальнейшем совершенствовании для обеспечения дуплексной обратной связи.

Обратная связь с электронными тактильными системами пока обеспечена с помощью различных технологий и методов. Есть носимые приводы/экзоскелеты для конечностей человека (рук) на основе жёстких тактильных игольчатых систем, мягких вибротактильных датчиков-сенсоров и даже сфокусированного ультразвука. Для достижения тактильных ощущений применяют давление воздуха, организованное с помощью маломощных пневматических насосов, созданных по принципу электронного измерителя давления – тонометра; пневматические тактильные ячейки, реализованные в хирургическом роботе, и комбинацию тактильных иголок и кинестетической обратной связи для симуляторов пальпации.

Адаптивная мультиплоскостная механо-вибротактильная система

В разработке электронных тактильных устройств сохраняется несколько пробелов из-за многогранной природы осязания. Это пока не до конца решённые вопросы, связанные с повышением точности тактильной обратной связи, обеспечением разнообразных тактильных ощущений и возможности быстрой переноски устройств для тактильных стимулов воздействия на конечности человека, в том числе кончики пальцев. Тем не менее исследователями из Северо-Западного университета уже разработана адаптивная мультиплоскостная тактильная система Bioinspired со стимулированием посредством механотактильных и постоянных, а также переменных вибротактильных электронно-механических импульсов, воздействующих с регулируемой интенсивностью (до 298,1 мН) и частотой (до 130 Гц). Подробно об этом можно прочитать в [7].

Устройство доставляет одновременные стимулы воздействия в несколько областей кончиков пальцев. Описание экспериментов по чувствительности и дифференциации стимулов человека для оценки возможностей механо-вибротактильных, переменной интенсивности, одновременных, мультиплоскостных и оператор-агностических систем представлены ниже [1]. На рис. 1 представлен тактильный интерфейс для кончика пальца.

Из рис. 1 видно, что когда пальцы взаимодействуют с окружающей средой, к примеру, во время захвата, щипка или пальпации, человек использует разные области/плоскости дистальной фаланги пальцев. Это может быть объяснено разными рецептивными полями и распределением плотности четырёх основных механорецепторов на пальце. Таким образом, для стимуляции рецепторов, ответственных за тактильную чувствительность на коже человека, тактильные интерфейсы должны адаптироваться к кривизне пальцев и обеспечивать одновременные многоплоскостные стимулы, которые изменяются по интенсивности и частоте. Последняя должна быть от 0 Гц до более чем 50 Гц (рис. 1а).

Показаны детали формы интерфейса кончика пальца. Ширина формы составляет 18 мм, а длина – 27 мм. Расстояние между участком пальца (кожным покровом) и верхней частью интерфейса составляет 0,5 мм. На эту толщину устанавливается силиконовая мембрана из композитного материала Dragon Skin. Именно она давит под небольшим давлением на кожу пальца, стимулируя его. С помощью той же прокладки-мембраны получают данные об откликах пальца на произведённое давление. Соответственно, моменты давления и получения откликов разнесены во времени на несколько миллисекунд [2].

Мягкий интерфейс для кончика пальца состоит из силиконового рукава (патрубков), внутренних камер и застёжек-липучек, позволяющих затягивать тактильный интерфейс на пальце (рис. 1b, с). Кончик пальца условно разбит на 14 участков, распределённых попарно по семи областям, определённым с использованием естественных ориентиров, таких как проксимальный ногтевой сгиб и дистальная межфаланговая складка. Каждая камера герметична и соединена с выходом быстродействующих клапанов. Это соединение позволяет оперативно приводить в действие мембрану камеры толщиной 0,5 мм, представленную на рис. 1d.

Благодаря мягкости биоинспирированного интерфейса для кончиков пальцев человека и расположению камер в семи областях пальца электронно-механический интерфейс хорошо адаптирован к изгибу пальцев на границах фаланг, поэтому система может воздействовать на палец в нескольких плоскостях. Выбор материала для интерфейса кончика пальца обусловлен влиянием свойств материала на тактильные стимулы и необходимостью учитывать болевые пороги чувствительности человека. Его мягкость улучшает адаптацию к изгибу и участкам пальца, в то время как более низкое внутреннее давление по сравнению с другими материалами облегчает стимуляцию. Толщина мембраны 0,5 мм при диаметре рабочей камеры менее 2 мм выбрана на основе эмпирического опыта. Толстая мембрана потребовала бы более высокого внутреннего давления для воздействия и стимуляции кожи (рис. 1с).

Мембрана приводится в действие путём подачи сжатого воздуха через камеры. Каждая камера герметично соединена с силиконовой трубкой (внутренний диаметр (ID) 1,5 мм) через канал размещения трубки, приклеенной к другой пневматической трубке внешним диаметром (OD) 4 мм для соединения камеры с выходом клапанов (рис. 2). Оптимальная толщина силиконового рукава составляет 9 мм.

Инновация (BAMH) заключается в устройствах, обеспечивающих как механотактильные/постоянные, так и вибротактильные импульсные стимулы с переменной интенсивностью в широком диапазоне частот. Таким образом, устройство может стимулировать рецепторы, включая SAII, чувствительные к постоянному стимулу, SAI, чувствительные к вибротактильному стимулу с частотой менее 5 Гц, FAI, чувствительные к вибротактильному стимулу с частотой от 5 Гц до 50 Гц, и FAII, чувствительные к вибротактильному стимулу с частотой от 40 Гц до 400 Гц. При этом устройство способно одновременно стимулировать несколько плоских участков всей поверхности кончика пальца, т.е. фронтальную, боковую и нижнюю области пальца.

Диапазон интенсивности импульсных воздействий и диапазон частоты вибротактильного импульса оцениваются посредством характеристики системы BAMH.

BAMH представляет собой пневматически активируемый роботизированный интерфейс из условно мягкого материала. Сочетание мягкого материала, силиконовой структуры с пневматическим приводом даёт ряд преимуществ, как-то: отсутствие подачи жидкости под давлением и то, что пневматический привод является альтернативой гидравлическому приводу. С этим повышается удобство переноски и использования системы посредством надувания мягкой мембраны под низким давлением (≤ 150 кПа).

Внедрение подхода с использованием адаптивных мягких материалов облегчает перепроектирование новых форм для производства персонализированных устройств и, следовательно, улучшает адаптацию к контурам кончика пальца или других частей тела.

Подсистема управления BAMH, показанная на рис. 2, включает электрические и пневматические компоненты: электропневматическую подсистему управления и мягкий сенсорный интерфейс. Конструкция подсистемы генерирует постоянные тактильные и вибротактильные импульсы с максимальной частотой 280 Гц (определяемой быстро переключающимися клапанами) для стимуляции четырёх основных рецепторов (медленно и быстро адаптирующихся типов I и II), связанных с особенностями восприятия прикосновений человеком.

Датчики давления (прямоугольники пурпурного цвета) контролируют пневматическое давление воздуха в камере. Схемы обработки (оранжевые прямоугольники) усиливают и мультиплексируют сигналы от микроконтроллера. Схема срабатывания пневматического клапана (синие прямоугольники) представлена как иллюстрация трёх репрезентативных сигналов. Она формирует данные для управления интерфейсом с разными рабочими циклами δ, интенсивностью и частотой f, иллюстрируя три репрезентативных сигнала. К примеру, для начального вибротактильного импульса f = 20 Гц и δ = 5%. Каждый пневматический клапан подключён к камере интерфейса, надетой на кончик пальца.

Частотный анализ силы определяется значением быстрого преобразования Фурье (БПФ) из данных ряда сила-время. Точность БПФ зависит от длины временно́го ряда, где временно́й ряд содержит целое число периодов импульсного сигнала. Необработанные данные содержат «шум», поэтому такие требования не валидны для анализа спектрального коэффициента.

Анализ дифференциации воздействия (чувствительности датчика)

В эксперименте участникам завязывали глаза, и далее, следуя процедуре, аналогичной описанной для интерфейса кончика пальца, участники располагали правую руку в удобном положении. К пальцу прикасались в одном месте последовательно с возрастающей силой до тех пор, пока участник не мог почувствовать предел давления, за которым поверхность датчика теряла упругость. Для этого использовали пять волосков фон Фрея (рис. 3а). 

Затем процедура была повторена в семи областях четырёх пальцев руки. Четыре пальца руки с помощью воздействия импульсами электрического тока стимулировали семь раз в каждой области двумя точками (четыре раза горизонтально/поперёк пальца и три раза вертикально/вдоль пальца) и дважды одной точкой. Порядок применения двухточечного дискриминатора (рис. 3b) был случайным. Участники эксперимента указывали, чувствовали ли они воздействие и в каких точках, в каком направлении (вертикально или горизонтально). Кроме того, исследователи наблюдали за расширением зрачков, потоотделением в типичных зонах и особенно – за изменением окраса участка пальца, находящегося под воздействием электронных импульсов, увеличивая давление интерфейса вокруг участка побледнения кожного покрова.

Описание и принцип действия системы тактильной обратной связи

Тактильная система обратной связи состоит из нескольких компонентов. К ним относятся: модуль управления с электронными датчиками, биоинспирированный мягкий тактильный интерфейс, компрессор, источник питания, внутренние камеры и застежки-липучки, которые затягивают тактильный интерфейс на пальце (рис. 1б). Мембрана (внутренний диаметр 1,4 мм и толщина 0,5 мм) и электропневматическая подсистема управления позволяют стимулировать давлением сжатого воздуха участок пальца.

Электропневматическая подсистема управления (рис. 2) состоит из печатной платы – PCB (схемы управления, датчиков и привода), быстродействующих переключающих клапанов (выделены жёлтыми прямоугольниками), пропорционального регулятора давления (выделены зелёными прямоугольниками) и электрических и пневматических источников питания. Плата Teensy 4.1 содержит микроконтроллер, имеющий 22 независимых таймера для одновременного обеспечения частотных выходов ШИМ, 18 аналоговых входов с разрешением 10-битного аналого-цифрового преобразователя (АЦП) и последовательные порты USB для связи с внешними устройствами, к примеру, ПК. Один выход ШИМ (с рабочим циклом δ от 0% до 100%) определяется с помощью переменной от 0 до 255 соответственно и вместе с фильтром Баттерворта II порядка позволяет модулировать внутреннее давление системы через пропорциональный регулятор давления Camozzi K8P c диапазоном выходного сигнала 0–300 кПа. Пятнадцать выходов ШИМ используются для управления быстродействующими переключающими клапанами FESTO, MHE3 (3/2-ходовые, нормально закрытые, давление 0,9–800 кПа, максимальная частота переключения 280 Гц) с использованием электронного модуля срабатывания клапанов (выделены синими прямоугольниками). Четырнадцать из этих клапанов подключены к камерам интерфейса кончика пальца. Пятнадцатый клапан разработчики в данном случае считают фиктивным, поскольку его выход отключён. Но этот клапан-канал нужен, так как активируется во время тестов дифференциации стимулов, когда работает только одна из пневматических камер. Два управляемых клапана – датчика давления Honeywell PX2 с рабочим напряжением 5 В (выделены пурпурными прямоугольниками), подключённые к АЦП микроконтроллера, контролируют замеренное на выходе регулятора давления давление системы и внутреннее давление камеры (измеренное на выходе одного переключающего клапана). Частота дискретизации 1 кГц. Компрессор с резервуаром и электропитанием обеспечивает мощность, необходимую для электропневматической системы. Для обеспечения безопасности во время экспериментов максимальное значение общего внутреннего давления системы ограничено на уровне 150 кПа.

Показатели внутреннего давления камеры, в зависимости от его силы через мембрану, получены с помощью одноточечного тензодатчика Tedea Huntleigh Model 1004 с диапазоном 3Н. Тензодатчик установлен на движущемся рельсе Zaber X-LSM100A напротив камеры. Тензодатчик в контакте с камерой определяет максимальное воздействие 200 мН, что примерно соответствует в данных условиях давлению 178,2 кПа. Во время испытаний в устойчивом состоянии данные с тензодатчика снимались с частотой 2,5 кГц.

Характеристика тестов и системы BAMH

Вибротактильный импульсный стимул, предоставляемый тактильной системой, оценивался с помощью модулированных тестов. Тесты проводились с использованием частоты сигнала срабатывания клапанов 20 Гц и рабочего цикла 5%. Данные обучения и тестирования были получены при тех же давлениях, что и в стационарных тестах. Модулированные тесты также проводились для нахождения приложенной силы, соответствующей диапазону частот и рабочих циклов. В соответствии с чувствительностью к стимулам указательного пальца в тесте на нескольких частотах данные вибротактильного импульса были получены с использованием δ = 75%, частот 2 Гц, 20 Гц, 60 Гц, 90 Гц и 130 Гц и длины трубы 250 мм. Данные отфильтрованы, а пики извлечены в соответствии с методами модулированных тестов.

Характеристика стимулов тактильной системы определяется как соотношение между внутренним давлением камеры и приложенной силой. Данные с тензодатчика отобраны на частоте 5 кГц и пропущены через фильтр нижних частот 200 Гц, затем пики силы были извлечены за каждый период (1/f). Кроме того, в соответствии с тестом дифференциации получены данные вибротактильного импульса при установленном выходном давлении системы 154,8 кПа. Затем частота увеличивалась с 20 Гц до 180 Гц с шагом 5 Гц при рабочих циклах 5%, 10%, 25%, 50% и 75%; эти тесты повторены неоднократно с вариативным размером длины патрубков в пневмосистеме 60 мм, 150 мм и 250 мм. Увеличение длины патрубка с 60 мм до 250 мм уменьшило диапазон силы с 50,65 мН до 22,29 мН. Анализ показал значительную корреляцию δ и длины трубы на максимальной частоте ШИМ [3].

Интересные данные относительно характеристик вибротактильного импульсного стимула получены с помощью нескольких однотипных исследований, разнесённых во времени на две недели. Притом что участники эксперимента были те же самые, равно как и электронные устройства, воздействующие на кончики их пальцев, полученные данные свидетельствуют о том, что в разное время в соответствии с состоянием конкретного организма человека его реакции-отклики не были в точности одинаковыми. Характеристика тактильной системы показывает, что система может обеспечить переменную интенсивность, а также мультиплоскостные и одновременные механо-вибротактильные стимулы воздействия для дистальной фаланги пальцев. Интенсивность стимулов можно изменять с помощью регулятора давления или частоты переключения рабочего цикла исполнительного клапана. Разница между данными, рассчитанными с использованием полинома и фактически полученными, предполагает, что для каждого интерфейса кончика пальца необходима начальная калибровка.

При сравнении результатов диагностики системы BAMH с альтернативными системами тактильной обратной связи отметим, что BAMH может обеспечивать механо-вибротактильную стимуляцию с максимальной частотой импульсов 130 Гц. Она способна стимулировать как медленно адаптирующиеся механические рецепторы (диапазон 0–5 Гц), так и быстро адаптирующиеся механические рецепторы (диапазон 5–400 Гц) с частотой, превышающей 120 Гц. Благодаря этому система может стимулировать механические рецепторы FAII на частоте 128 Гц, при этом формат воздействия FAII даёт наивысший на сегодня пиковый отклик, когда стимулирующее воздействие вызывает деформацию кожи ≥ 6 мкм [1]. Максимальный по безопасной для кожи пальца силе воздействия результат зафиксирован на уровне 298,1 мН, поскольку экспериментаторы были ограничены применением устройства относительно порогов чувствительности кожи и дифференциации стимулов обнаружения отклика. Именно поэтому максимальное внутреннее давление интерфейса системы ограничено на уровне 178,2 кПа вместо 300 кПа, вполне достижимых теоретически и практически. Кроме того, рассматриваемый биоинспирированный интерфейс для кончика пальца воздействует не только фронтально, но и через боковые и нижние области пальца с одновременной активацией приложенных сигналов-импульсов.

Эксперимент оценки осязания с использованием сенсорного интерфейса

Для валидного получения данных о чувствительности и дифференциации участков пальцев рук человека использовались волосы фон Фрея – градуированные калиброванные нити, оказывающие постоянную механическую силу при изгибе на угол до 32°, а также двухточечный дискриминатор, показанный на рис. 3а (ниже).

Участникам эксперимента предлагалось оценить чувствительность крайних фаланг пальцев рук к стимулам и их дифференциации с воздействием на разные участки пальцев. Предварительно было уточнено, что участники эксперимента не имели никаких сенсорных или двигательных нарушений. «Оцениваемыми» пальцами были большой, указательный, средний и безымянный пальцы правой руки. Тест проводился в семи областях, показанных на рис. 1d. Воздействие импульсами широтно-импульсного модулятора (ШИМ) применялось в течение 1,5 с, чтобы ограничить продолжительность эксперимента одним часом. Участники эксперимента использовали защитные наушники, чтобы уменьшить звуковую обратную связь из-за приведения в действие клапанов и регулятора давления интерфейса. В конце теста каждый участник заполнил анкету относительно пола (биологический признак), возраста и профессии. В ходе экспериментов интенсивность стимула изменялась регулировкой выходного давления (в интерфейсе) в диапазоне 0…154,8 кПа. Такое значение максимального давления выбрано для минимизации риска повреждения кончика пальца.

Анализ чувствительности одноточечной дифференциации

Тест определял минимальную силу / внутреннее давление, необходимые для того, чтобы участник почувствовал отклик поверхности электронного датчика через разные области пальца. Участник удобно располагал руку (рис. 2c), а интерфейс кончика пальца с застёжкой-липучкой был зафиксирован. В течение 1,5 секунд (рис. 2a иллюстрирует необработанный сигнал) на участки пальцев было воздействие небольшого давления, затем пауза в 1 с. Приращение (регулировка) давления в последующих импульсных воздействиях достигалось путем увеличения рабочего цикла сигнала ШИМ с шагом 8, использованием переменной рабочего цикла в микроконтроллере в диапазоне от 0 до 170. Последнее соответствует максимальному приложенному внутреннему давлению камер интерфейса приблизительно 150 кПа. Как только участник чувствует тактильное воздействие в интерфейсе, не только изменяется сопротивление кожи пальца, но инстинктивно оконечная фаланга пальца начинает движение и пытается высвободиться из фиксации электронного интерфейса. Процесс выполнялся в семи областях каждого пальца, по одной области за раз. Области выбирались случайным образом.

При проведении эксперимента вариативно выбирали частоту широтно-импульсного модулятора 2 Гц, 20 Гц, 60 Гц, 90 Гц и 130 Гц. На рис. 2б показана форма импульсов необработанного отклика. Тест двухточечной дифференциации показал оптимальное расстояние, необходимое для определения воздействия на один или несколько участков пальца в пределах одной рабочей области тактильного электронного датчика. Тест проводился по семи участкам на четырёх пальцах руки (кроме мизинца). Использовались электронные датчики с разным расстоянием (площадки электронного сенсора 2 мм, 3 мм, 4 мм и 5 мм). Тест анализа чувствительности указательного пальца на разных частотах показал, что при определённом давлении на участки пальца сопротивление его кожного покрова изменяется (уменьшается), и при этом возрастает частота откликов – попытки пальца давить на рабочую область интерфейса.

Также можно сделать выводы о том, что чувствительность электронного сенсора к минимальной силе/давлению имеет определяющее значение при корректном измерении: чем выше сила, тем ниже чувствительность пальца, и наоборот. В экспериментах результаты чувствительности системы BAMH сравнивали с результатами воздействия на волоски фон Фрея (ручное устройство), проиллюстрированные на рис. 3а. Иллюстрация на рис. 3б с разной цветовой маркировкой демонстрирует изменение чувствительности между разными областями пальца при воздействии (тактильном нажатии) на электронный датчик. Поскольку тактильная система воздействия пальцев на рабочую поверхность электронного датчика показывает изменение поверхности последнего, то пропорционально определяется и изменение интенсивности воздействия. Критерий чувствительности анализируется относительно приложенной силы, типично определяемой на портативных электронных устройствах, к примеру, таких как экраны и интерактивные дисплеи современных смартфонов, планшетов, других устройств.

На рис. 3а показаны два вида используемых устройства: система BAMH и датчик в виде волос фон Фрея. На рис. 3b представлены разные участки пальца, а справа – соответственно разные значения соответствующих участков на рабочую поверхность электронного датчика (тактильная система), причём величина давления показана (окрашена) разными цветами.

Различная чувствительность, медианная сила и результаты, полученные с помощью тактильной системы, показывают, что чувствительность датчика меняется в зависимости от области воздействия на него.

На рис. 4 показана иллюстрация особенностей воздействия на датчик концевой фаланги указательного пальца.

Изменение чувствительности воздействия тактильной системы, способной независимо и одновременно определять многоплоскостные, переменной интенсивности и частоты механические вибротактильные воздействия в различных областях пальца, показывает два порога чувствительности с частотой в пределах диапазона давления тактильных механических рецепторов. Сила нажатия, прикладываемая к устройству малой площади поверхности на примере основы «волос фон Фрея» (0,18 мм), отличается от силы, прикладываемой тактильным воздействием на большую площадь датчика в 1,4 мм.

Характеристика тактильной системы была выполнена с использованием ПО Matlab R2021b. Данные были разделены в каждой точке, где сила тактильного давления или его частота изменялись. Затем полученные в эксперименте данные сравнивались с данными предыдущего тестирования, чтобы найти среднеквадратичное отклонение (RMSD).

В данном примере результаты подушечки пальца в основном ограничиваются настройкой электронного интерфейса и зависят от навыков оператора, влияют на корректный сбор данных. Такие факторы, как угол приложения давления между волосом фон Фрея и кожей пальца, уровень изгиба волоса, влияют на изменчивость данных. Другое открытие касается результатов чувствительности по частотам, напоминающих реакцию Пачини (FAII) на давление кожи (пальца) на площадку – рабочую поверхность датчика, осуществлённую с различной частотой. Поэтому особенность механического воздействия рецепторов FAs являются фактором, наиболее важным при определении порога чувствительности фон Фрея.

Для определения силы нажатия особенное значение имеет минимальное расстояние, необходимое для тактильного соприкосновения с площадкой электронного сенсора. Чем больше минимальное расстояние, тем ниже тактильное воздействие по площади. Для тактильного двухточечного соприкосновения (рис. 5а) расстояние определяется между двумя закруглёнными кончиками фаланги пальца.

Адаптивная передача тактильного взаимодействия с помощью смарт-перчаток с цифровой вышивкой

Кроме рассмотренных вариантов решений и технологии, связанной с BAMH, уместно обратить внимание на технологию AE-Skin, пришедшую на смену технологии Real Skin. На рис. 6 представлены основные отличия этих технологий, о которых подробно будем говорить во второй части статьи.

К примеру, система AE-Skin, установленная на панели автомобиля, может использоваться для управления встроенным аудиорекордером, скоростью обдува кондиционера, температурным режимом в салоне, положением и углом наклона сиденья. В исходном состоянии поверхность панели остается плоской. Когда водитель касается панели, встроенный электронный сенсорный датчик улавливает давление пальца, а затем привод генерирует определённую траекторию для интерактивного руководства. Так водитель может быстро и точно переместиться в рекомендованное положение и выбрать действия для вспомогательной операции, в то время как привод (панель под пальцем) вибрирует, чтобы напомнить водителю, правильно ли выполнена операция. Подобные установки были реализованы на интерактивных досках и стеклах автомобиля более 10 лет назад. Однако тогда быстрота реакции и помехозащищённость, устойчивость от внешних факторов, включая температуру воздуха, в электронных устройствах и в общем их функционале ещё оставляли желать лучшего, равно как и цена изделий. Теперь «отклик» на воздействие (реакцию) вырос, а цена стала заметно ниже.

Люди полагаются на свои чувства, включая зрение, слух и осязание, для сбора информации об окружающей среде и друг о друге в повседневной деятельности. Физическая тактильная обратная связь играет важнейшую роль в обучении, движении, общении и осведомлённости об окружающей среде, а также в личных отношениях. «Современная электроника» писала об этом, в частности, в [6]. С той поры электронные системы продолжают совершенствоваться. По мере того как технологии продолжают развиваться, их способность помогать людям в сложных сценариях увеличивается, растёт необходимость в использовании физического тактильного опыта для обогащения технологически опосредованного взаимодействия как между людьми, так и между людьми и машинами. Обмен тактильной информацией между людьми и роботами может иметь основополагающее значение для персонализированной медицины и лечения, роботизированной хирургии, эффективного взаимодействия человека с роботом, дополненной и виртуальной реальности AR/VR и повседневной деятельности человека.

Обеспечение интуитивной передачи тактильного взаимодействия остаётся сложной задачей, поскольку для этого требуются масштабируемые и конформные тактильные сенсорные и тактильные дисплейные системы, которые можно интегрировать в повседневную жизнь. Уже появились разработки, направленные на изучение новых высокоплотных, недорогих материалов и методов изготовления для решения означенных проблем. Разработки конформных тактильных сенсорных систем позволили бесшовным образом создавать «умную одежду» с зарядными системами внутри, имеющую собственный идентификатор человека-владельца-пользователя (больше не надо таскать с собой QR для путешествий и посещения культурных мероприятий во время пандемии: одежда скажет за себя).

Для объединения тактильного восприятия и обратной связи в современных электронных системах на примере BAMH, о которых мы рассказали выше, задействованы эпидермальные человеко-машинные интерфейсы. Хотя предыдущие разработки продемонстрировали потенциал таких систем, они также выделили технические проблемы, к примеру, сложный и деликатный процесс изготовления устройств, который пока ограничивает масштабируемость, надёжность, настройку и совместимость электронных устройств рассматриваемого направления. Различия в восприятии людьми тактильной обратной связи затрудняют эффективную и надёжную взаимосвязь человек-машина, поскольку индивидуальная калибровка устройства для каждого пользователя также должна быть минимизирована. Поэтому масштабируемые, компактные, конформные и адаптивные человеко-машинные интерфейсы с возможностями тактильного восприятия и тактильного отображения остаются экзотикой, хотя и имеют большой потенциал для разнообразных приложений в реальном мире.

Сосредоточившись на тактильном взаимодействии рук, представляем возможности электронных перчаток со встроенными тактильными датчиками AE-Skin и вибротактильными приводами (рис. 7). 

Как сенсорные, так и тактильные компоненты в производственном режиме интегрируются в текстиль с индивидуальным пространственным разрешением и позициями с помощью цифровой технологии вышивки. Так, индивидуальная перчатка изготавливается в течение 10 минут с использованием коммерческих материалов, сохраняя мягкую, конформную и гибкую природу текстиля. Вибротактильные матрицы (рис. 6) обеспечивают площадь воздействия (пространственное разрешение) до 5 см², а сенсорные элементы достигают площади 0,25 см². Такие устройства уже сегодня идентифицируют человека по тактильной обратной связи на основе нескольких индивидуальных параметров, как-то: амплитуда, частота, временные, но типичные паттерны движений (стиль) и расположение на руке в соответствии с её геометрией.

Интерфейсы человек-машина для захвата, передачи и обмена тактильной информацией во времени и пространстве обладают огромным потенциалом для здравоохранения, дополненной и виртуальной реальности, сотрудничества человека и робота и развития навыков. Чтобы реализовать потенциал, интерфейсы должны быть носимыми, незаметными и масштабируемыми как по чувствительности, так и по параметрам тела. В основе разработки технология для бесшовной вставки пьезорезистивных датчиков силы и массива вибротактильных приводов в текстильные изделия настраиваемым, масштабируемым и модульным способом. Такие электронные перчатки уже могут записывать, воспроизводить и передавать на расстояние данные (в цифровом виде) о тактильных взаимодействиях. Во многом подобные перчатки являются средством индивидуального пользования, поскольку характер и особенности нажатий на поверхности для людей индивидуальны.

Для повышения эффективности передачи тактильного взаимодействия разработчики совершенствуют машинное обучение с применением ИИ, и тогда можно моделировать электронные перчатки персонально для каждого пользователя в соответствии с конкретной реакцией на тактильные ощущения, а затем оптимизировать параметры тактильной обратной связи. Такой подход разработчиков РЭА стал возможным благодаря внедрению трёх составляющих: смягчения тактильной окклюзии, усовершенствованного руководства для выполнения физических работ и действий и обеспечения возможности телеуправления роботом с большой чувствительностью [3].

На рис. 8 показаны примеры возможностей интерактивных тактильных перчаток.

Используя электронные перчатки со встроенными тактильными датчиками, можно достичь как физического взаимодействия между людьми для развития конкретных навыков игры на пианино (b), так и совершенствовать передачу физического взаимодействия между людьми и роботами в системах телеуправления (c).

Выводы

Об особенностях электронной кожи – интерфейсе для измерения тактильной обратной связи на физических поверхностях подробно рассказано в [2]. Уровень энергичности воздействия на площадку электронного датчика у каждого человека особый [1]. Эти выводы из экспериментов позволяют предположить, что по силе воздействия участков пальцев на рабочую поверхность электронного сенсора можно идентифицировать (в комплексе иных факторов) личность человека, а также диагностировать состояние его здоровья в конкретный момент времени, вплоть до физических недомоганий, «усталости» или даже аффективного расстройства настроения (как элемента депрессии).

Кроме того, осязание является ключом к восприятию человеком окружающей среды и взаимодействию с ней. Этот навык используется для различения характеристик объектов (текстуры, жесткости, пластичности и веса).

В таких областях, как медицина, системы дистанционного управления, развлечения и обучения, количественно и в геометрической прогрессии растёт использование технологий обратной связи с тактильным контактом. Это помогает пользователям чувствовать, что они взаимодействуют с физическими объектами, даже если находятся далеко или действуют только в виртуальном мире (к примеру, виртуальный поцелуй для любимой).

Одна из целей рассматриваемых новых технологий состоит в том, чтобы помочь людям получить новый опыт, к примеру взаимодействия с дикими животными, то есть пережить то, с чем они не смогут столкнуться в своей жизни. Другая цель – обучить специалиста диагностике редких состояний, а также расширить знания и работать более точно и безопасно, особенно при выполнении сложных задач. Кроме того, осязание имеет важную роль и изучается в социальных отношениях, в укреплении связей между людьми.

Для обеспечения тактильной обратной связи в последние годы исследованы различные методы, включая электрические, пневматические, пьезоэлектрические, ультразвуковые и электромагнитные системы и воздействия для обучения двигательным навыкам человека, иммерсивные взаимодействия виртуальной и дополненной реальности и автономную помощь. Эксперименты демонстрируют способность новейших устройств оцифровывать, фиксировать, записывать, воспроизводить и адаптивно передавать данные о физических взаимодействиях в различных контекстах и областях жизни.

Из примеров новых датчиков системы AE-Skin, обеспечивающей интерфейс между кожей человека и физическими поверхностями, а также сенсорных датчиков и матриц, интегрированных в электронных «умных» перчатках на текстильной основе, аккумуляторов и электронных карт памяти-идентификаторов для RFID, вшитых в «умную одежду», мы видим, в каком направлении развивается современная электроника. В бытовой сфере созданы такие неожиданные устройства, как электронный пластырь, имитирующий сложные тактильные ощущения, включая вибрацию и давление. Некоторые виды пластырей состоят из гибкой матрицы и более 19 миниатюрных приводов. Причём устройство использует энергию только тогда, когда приводы меняют положение, благодаря чему заряда батареи хватает надолго. Устройство стимулирует кожу, вызывая сложные тактильные ощущения [7].

Устройство имеет систему энерго­сбережения: накапливает энергию от нагрева до естественной температуры кожного покрова. «Умный пластырь» может найти применение в видеоиграх, виртуальной реальности и медицине, так как позволяет заменять сенсорное восприятие, к примеру зрение, тактильной обратной связью, что поможет людям с соответствующими функциональными нарушениями. В ходе экспериментов участники, которым завязывали глаза, смогли за короткое время адаптироваться к получению информации об окружающей обстановке при помощи тактильных ощущений. Принципы работы устройства описаны в статье в журнале Nature [8].

Таким, образом, одно из активно развивающихся направлений в разработке и серийном создании электронных устройств будущего – замещение реальных ощущений искусственными: электронный поцелуй вместо реального, виртуальное объятие вместо настоящего. С помощью индивидуально подобранного импульсного воздействия на соответствующие точки ступни или ладони человека можно регулировать даже аппетит, а это, соответственно, экономит деньги семейного бюджета: только посмотрел через стекло витрины на осетровую икру, и покупать её не надо, при помощи специального электронного программируемого «аппетитора» ты уже наелся. Хорошо это или плохо – покажет время. Пока ясно одно: любые технические новации – инструмент для людей, а не наоборот. Опасения по поводу новых электронных устройств-заменителей актуальны лишь для тех, кто не способен относиться к технологиям критически, определяя для себя границы допустимого их использования.

Литература

1. Абад С.А., Герциг Н., Райтт Д. и др. Биовдохновлённая адаптивная многоплоскостная механо-вибротактильная тактильная система. URL: https://www.nature.com/articles/s41467-024-51779-8.
2. Го Ю., Ван Юн., Тун Ц. и др. Активная электронная кожа: интерфейс для получения тактильной обратной связи на физических поверхностях. URL: https://www.nature.com/articles/s41528-024-00311-5.
3. Дель-Прето Д., Куй Ву, Фроши М. и др. Адаптивная передача тактильного взаимодействия с помощью смарт-перчаток с цифровой вышивкой. URL: https://www.nature.com/articles/s41467-024-45059-8.
4. Джонс Э.Г. Сенсорная рука (2006). URL: https://academic.oup.com/brain/article-abstract/129/12/3413/268678.
5. Джунг Й.Х., Васкес-Гуардадо А. Беспроводной тактильный интерфейс для программируемых схем прикосновений к большим участкам кожи. URL: https://www.nature.com/articles/s41928-022-00765-3.
6. Доезжаев А. Что «делает» искусственный интеллект в России // Современная электроника. 2023. № 6. URL: https://www.cta.ru/articles/soel/2023/2023-6/169581/.
7. Разработан тактильный пластырь: он имитирует разные типы прикосновений. URL: https://hightech.fm/2024/11/06/haptic-patch.
8. Флавин Т. Мэтью, Кён-Хо Ха, Цзэнжун Го. Восстановление биоэластичного состояния для тактильного сенсорного замещения. URL: https://www.nature.com/articles/s41586-024-08155-9.
9. Хэндлер А., Джинти Д.Д. Механосенсорные нейроны прикосновения и механизмы их активации. Nat. Rev. Neurosci. 22, 521–537 (2021).

© СТА-ПРЕСС, 2026