Электронные системы NENS c интерфейсом человек-машина с трибоэлектрическими датчиками T-TENG

Условия (предпосылки) возникновения и реализации идеи

Эра искусственного интеллекта (ИИ) и Интернета вещей (IoT) стремительно развивается благодаря новым достижениям в области РЭА класса портативных и носимых устройств. Поза и походка человека – малоизученные его идентификационные особенности, однако в этом направлении активно ведутся работы. Признано важным изучить и проанализировать сенсорную информацию из повседневной жизнедеятельности, содержащую персональные данные идентификации. Такие устройства до последнего времени были ограничены высокой стоимостью, относительно высоким энергопотреблением и несовершенными методами анализа, требующими огромных баз, библиотек и наборов данных для хранения и сравнения. С развитием облачных сервисов и технологий, но главным образом, с прорывными технологиями в области материаловедения и ИИ проблема решается и быстрее, и проще.

За последние несколько десятилетий сообщалось о разработке гибких устройств с различными структурами и материалами. Текстиль – основная часть обычной одежды – тщательно исследован как износостойкая, гибкая и в целом подходящая платформа для электронных датчиков с перспективой развития их мультифункциональности и большей интеграции. С помощью трибоэлектрических сенсоров открылись возможности для новых энергетически экономных электронных устройств, питающихся комплексно: от естественной среды, солнечной энергии, низкочастотных движений тела и даже выделений потовых желез для последующей передачи цифровых данных от сенсорных датчиков беспроводным способом в постоянном режиме в формате сквозной структуры сигналов. Так, обычный носок для ступни, оснащённый функцией автономного питания установленного электронного сенсора, может использоваться в качестве базы для носимых датчиков, предназначенных для диагностики и накопления индивидуальной информации пользователя, а также некоторых параметров состояния медицинского здоровья. Причём количество доступных параметров постоянно расширяется.

В перспективе подобные методы будут использоваться и для понимания двигательной активности животных. В этой сфере у разработчиков есть множество идей, требующих реализации. Даже простым аналитическим наблюдением (и это доступно любому без специальных инструментов) можно установить, что улитка (брюхоногий моллюск) двигается по определённой системе: паттерн её движений – прямолинейный ход, затем «завиток» на манер петли Нестерова, известной лётчикам-испытателям, по мокрому грунту будет повторяться через равные расстояния почти с точностью (рис. 1).

То же касается наблюдений на небольшой глубине за участком водоёма, акватории. Если относительно долго, в течение получаса, стоять на месте на берегу и наблюдать за водой в прозрачном месте водоёма, насыщенного рыбами, оказывается, что примерно по одной траектории через разные промежутки времени появляется та же рыба и двигается примерно по одному маршруту с изменениями направления (зигзагами) как в горизонтальной, так и в вертикальной плоскостях. Те же данные ещё в более достоверной фиксации – для последующей аналитической работы – можно получить, установив в определённом месте видеокамеру для съёмки того же участка водоёма или камеру для подводной съемки. По результатам этих наблюдений можно предположить, что и более развитые животные класса млекопитающих в естественных природных условиях могут двигаться по циклическим маршрутам в разные или, наоборот, через равные промежутки времени.

Но в данном случае с помощью электронных датчиков открываются возможности для исследования и анализа идентификационных качеств походки и типичных поз. А пока точность идентификации человека по походке и типичным, наиболее часто принимаемым позам достигла значения 93,54% [12].

Ещё один фактор – проблемы сбора и защиты данных индивидуальной (персональной) информации. Учитывая проблемы биометрической идентификации, конфиденциальности распознавания лиц, отпечатков пальцев и акустического распознавания, анализ походки как персональной характеристики имеет множество преимуществ перед другими способами идентификации. Индивидуальное распознавание походки имеет меньше ограничений в окружающей и коммуникационной среде для сбора данных, потому что собирать такие данные в повседневной жизни – относительно легко и быстро. Такие устройства лучше и незаметнее, в отличие от широко используемых датчиков IMU, которым требуется относительно высокая мощность питания.

Для дальнейшего улучшения качества жизни изобретение различных носимых датчиков на основе электрокардиограммы, электромиограммы, температуры тела, частоты сердечных сокращений и других открывает возможности как в фитнес-сервисе, так и в медицинской диагностике путём долгосрочного мониторинга физиологических сигналов. В частности, обнаружение движений человека имеет ценность для создания информации о состоянии здоровья пользователя, количественной оценки активности и установлении эффективного канала между людьми и машинами [5–14].

Когда речь идёт о непрерывном и удобном мониторинге разнообразных состояний движения человека, камеры и датчики инерциального измерительного блока (IMU) широко используются в устройствах для приложений умного дома. Однако распознавание зрения камерами может вызвать проблемы с конфиденциальностью, а использование IMU, по сути, не является достаточно гибким и удобным в качестве предпочтительного решения. Кроме того, ношение нескольких громоздких IMU на теле человека может вызвать неизбежные помехи для движений.

Поэтому электронные устройства, разработанные для стопы, становятся чрезвычайно перспективными и востребованными, поскольку двигательная активность стопы является одним из основных (доступных и подходящих) источников сбора кинетической энергии из человеческого тела. Электронные устройства SmartSocks («умные носки») по внешнему форм-фактору выглядят, как обычные носки. Они выдерживают машинную стирку и не требуют зарядки или смены элементов питания. В текстиль уже на производстве встроены электронные компоненты с массивом сенсорных датчиков. SmartSocks собирают со стопы и лодыжки пользователя физиологические показатели о колебании сердечных сокращений, количестве выделившегося пота, о двигательной активности и др. В цифровом виде информация передаётся по беспроводному каналу в приложение на смартфоне, оттуда – в облачный сервис и обрабатывается алгоритмами машинного обучения (ИИ). Выводы система представляет в адаптированном виде с показателями датчиков (в том числе в динамике) и даже рекомендациями по ситуации.

Такая специализированная РЭА помогает на ранней стадии в достаточно точной форме распознавать признаки возбуждения, стресса, тревоги или гиперреактивности (двигательного беспокойства). Она же сигнализирует в выбранном пользователем режиме предупреждения для пользователя, врачей или родственников о его состоянии и необходимости помощи. Так, жизнь пожилого или с ограниченными возможностями здоровья (ОВЗ) человека (инвалида) вне клиники становится более безопасной, предсказуемой и комфортной.

На рис. 2 представлен внешний вид электронного датчика, конструктивно зашитого в специальный носок.

В разработке используется сопряжённый (комплексный) пиро-, пьезоэлектрический эффект для автономного одновременного измерения температуры и давления и MR-датчики управления интерфейсом на основе трибоэлектрического наногенератора в приложении IoT. Из исследовательских центров, продолжающих тестировать с целью усовершенствования РЭА медицинского назначения и в частности «умные носки», отметим команды разработчиков Центра исследований и технологий ухода Британского института исследований деменции при Имперском колледже Лондона, разработчиков из британского стартапа MilBotix, Национального университета Сингапура с Центром интеллектуальных датчиков и МЭМС (CISM), Сучжоуского научно-исследовательского института (NUSRI), Высшей школы интегративной науки и техники (NGS), Кафедры электротехники и компьютерных систем из Университета Монаша, Мельбурн, Австралия и многих других. Такие электронные системы, получившие одобрения лицензирующих органов и потому выпущенные в серию, производятся несколькими предприятиями в США, ЕС, странах Индокитая. Всех производителей нет смысла описывать и называть, тем более что нет для изделий единого каталожного артикля.

Подобные устройства распространены не только на острове Туманного Альбиона и континенте Северной Америки, но и по всему миру.

Носки для медицинских протезов

Современные протезы могут оснащаться системами обратной связи, которые позволяют ощущать давление на конечность и даже прикосновения к предметам. Австрийские инженеры придумали способ расширить возможности любых протезов с помощью универсальной неинвазивной системы обратной связи. Внешне устройство выглядит как носок, определяет давление в шести зонах искусственной стопы и вибрацией передаёт эту информацию пользователю [9]. На рис. 3 представлен вид электронного носка для медицинского протеза.

Устройство состоит из трёх слоёв: пьезорезистивной ткани в середине и токопроводящих полос внутри и снаружи. Полосы перекрещиваются, образуя чувствительную эластичную матрицу. Данные о давлении, изгибе или прикосновении передаются на браслет с шестью вибромоторами, по одному на каждую из зон. Вибрируют моторы с разной силой, в зависимости от интенсивности сигнала. Пользователь закрепляет браслет на руке, торсе или другой части тела с помощью липучки [9].

Практические примеры

К примеру, Лео Ранникко, финский художник-авангардист, до своей смерти в прошлом году в возрасте 89 лет в течение нескольких лет использовал SmartSocks. Поскольку общение с выдающимся художником было многолетним и плодотворным (рис. 4), указанные сведения автор может подтвердить лично. 

Такое устройство помогает поддерживать здоровье людей как медицинскому, административному персоналу в домах престарелых, так и в домашнем варианте социального обслуживания. В последнем случае пожилые и страдающие несколькими заболеваниями (по возрасту) люди не могут оперативно сообщить о своём состоянии по причине потери памяти, физиологических недомоганий, волнения или стресса. Электронное устройство в режиме реального времени по сетям LTE пересылает собранные с помощью автоматизированной диагностики несколько видов данных в цифровой форме о состоянии подконтрольного пациента, такие как артериальное давление, уровень сахара в крови, уровень сатурации и многих других.

Поэтому на проверенном примере можно констатировать, что электронные носимые устройства специального (медицинского) назначения реально помогают медперсоналу, родственникам или опекунам отслеживать состояние пациента с ограниченными возможностями здоровья онлайн. Умные носки создали не вчера. Ранние версии гаджетов имели бо́льший вес, случалось, вызывали дискомфорт пользователя из-за негибких материалов и желание избавиться от постороннего предмета на теле, по той же причины их намеренно «теряли» или приводили в негодность. Но самое главное, что ранее не был решён вопрос с бесперебойным питанием электронных датчиков: анахронизмы эпохи регулярно снимали для подзарядки или смены элементов питания – батарей типа CR2450 и CR3050.

Из истории вопроса

Ещё в материалах Международного симпозиума (MeMeA) IEEE по медицинским измерениям и приложениям, проведённом в Рочестере, штат Миннесота, США, в 2017 году широко упоминались разработки РЭА с использованием методов машинного обучения, позволяющие определять по фазам особенности походки человека, выявляемые по кинематике двигательной активности бедра [9]. О реальных успехах инженеров и разработчиков в этом перспективном направлении будем говорить на протяжении всей статьи. Теперь же уместно сказать, что подобные разработки приводят научно-технический прогресс к тому, что можно идентифицировать человека не только биометрическим методом в классическом понимании, но также с помощью анализа походки или позы. Как элемент диагностики состояния, можно рассматривать автономную носимую текстильную наноэнергетическую систему (NENS) для медицинских приложений следующего поколения [6]. Но впервые оформленную модель датчика давления мышечной активности и обнаружения движения, зашитого в текстильную форму (стельку), представили и описали в 2006 году в рамках Х Международного симпозиума IEEE по носимым компьютерам в г. Монтрё, Швейцария [5]. Разработка состоялась во взаимодействии с беспроводной сетью датчиков для тела на основе растягивающихся пассивных меток.

Аналогичные электронные устройства

К ним также относятся «носки-няньки» с электронными датчиками, представленные на рис. 5.

Умные носки бывают не только для взрослых, но и для грудничков. Американская компания Owlet около десяти лет разрабатывает и продаёт системы мониторинга жизненных показателей для детей в виде умного носка с функцией трекинга сна. Устройство, созданное инженерами компании, надевается на ногу ребенка и отслеживает частоту сердечных сокращений и уровень кислорода в крови с помощью пульсоксиметра, а также двигательную активность по акселерометру. Данные отправляются на сопряжённый с устройством смартфон с приложением, через которое можно удалённо следить за снимаемыми показателями и получать оповещения. К примеру, электронное устройство формирует сигнал «тревоги» и сообщает родителям, что ребенок перевернулся или проснулся, а также диагностирует и определяет качество сна малыша.

Инженеры из компании Siren Care разработали умные носки, способные заметить начало воспаления и заранее предупредить больного диабетом о том, что нужно лечение (рис. 6).

Носки сделаны из ткани в сочетании со специальными материалами Neurofabric. В ткань вшиты датчики-микросенсоры для контроля температуры в шести точках стопы с периодичностью диагностики 10 секунд и контролируют также другие параметры. Повышение температуры ассоциируется с началом воспаления, которое ведёт к развитию диабетической язвы.

Фиксируя рост температуры, электронное устройство отправляет предупреждение на телефон пользователя по каналу Bluetooth. В компании также разработано устройство Siren Hub, заменяющее смартфон и сопряжённое с беспроводным модулем в носках. С его помощью информация и сигналы передаются медицинскому персоналу, который, в свою очередь, связывается с пользователем. Носки Siren можно стирать в стиральной машинке, но, как и у обычных носков, ткань со временем разнашивается. А для правильной работы электронных датчиков необходимо, чтобы ткань плотно прилегала к коже. Поэтому компания, заинтересованная в долгосрочном сотрудничестве, даже поставляет клиентам несколько новых пар умных носков каждые полгода.

На рис. 7 представлено условно экзотическое электронное устройство – маломощный генератор электроэнергии, разработанный группой инженеров из Университета Западной Англии. Устройство, по форме напоминающие гетры, представляет собой носимые на ногах микробные топливные элементы, зашитые в износостойкую ткань. Ресурсом для производства энергии стала человеческая моча, циркулирующая внутри устройства за счёт механического давления и силы тяжести.

Относительно сложная система состоит из пластиковых трубок, соединяющихся с механической помпой под пяткой. При каждом шаге ступня человека давит на помпу, и жидкость поднимается к закреплённым на голени 12 топливным элементам. Пройдя сквозь них, органическая жидкость стекает обратно по нисходящим трубкам. Затем цикл повторяется. При ходьбе процесс становится непрерывным, и потому генерируется электричество. Идея сама по себе креативная, поскольку микробные топливные элементы тоже выполнены в виде трубок. Внутренняя поверхность содержит электроды: катод и анод, разделённые мембраной, пропускающей только ионы водорода Н+. На аноде микроорганизмы разлагают химические вещества из мочи: мочевину, креатинин, соли, при этом выделяют протоны и электроны. Последние по проводам поступают в суперконденсаторы (ионисторы) и питают подсоединённые электронные устройства. Затем, когда из внешней электрической цепи обратный ток поступает на катод, электроны вместе с протонами, которые проскочили через мембрану, образуют воду, реагируя с кислородом в составе воздуха [15].

Также среди разработанных приборов высокочувствительный автономный трибоэлектрический слуховой датчик для социальной робототехники и слуховых аппаратов, а также сверхрастягивающийся и структурно-проектируемый трибоэлектрический наногенератор на основе жидкого металла для носимой электроники. «Умная», или иначе, «масштабируемая электронная» перчатка с тактильной обратной связью – креативный HMI для приложений виртуальной, дополненной реальности – позволяет изучить возможности, силы и сигнатуры захвата ладони с использованием электронной техники [7].

Спортивное направление NINE

Однако не только артериальное давление или уровень сахара могут замеряться электронными датчиками. Фитнес-браслеты с фиксацией на запястьи, груди или поясе известны как популярный способ следить за показателями физической активности. По информации со встроенных датчиков, таких как пульсометр, акселерометр, гироскоп, GPS-трекер и др., рассчитывается число шагов, пройденное расстояние, скорость пользователя и потраченные калории. Нельзя сказать, что адаптируемые результаты очень точны; как и в смарт-часах даже известных марок с качественным исполнением, на дисплей выводится приблизительный результат с отклонениями до 20%. Более точно количество шагов и каденс на пробежке покажут анализаторы с помощью датчиков, установленных прямо на ступне или лодыжке. На основе этой идеи разработаны датчики для фитнес-трекеров и медицинского диагностического оборудования, в том числе «зашитые» в текстиль носка, стельку или подошву обуви. Как вариант, датчики в форме гибкого сенсора, вшитые в подошву носка и в трёх точках ступни, реагируют на давление ступни на грунт при шаге или беге. В съёмном и облегчённом беспроводном модуле Core установлен акселерометр, магнетометр и гироскоп, а также приёмопередатчик Bluetooth для трансляции информации на смартфон с активным и адаптированным приложением.

На рис. 8 показано внутреннее устройство гибкого электронного датчика плоской формы для носка. Это стало возможным благодаря открытию и разработке новейших материалов.

Кроме общих показателей шагомера, электронная система (приложения) анализирует особенности приземления на стопу и ударную нагрузку при ходьбе или беге. Эти физиологические свойства зависят от многих факторов: поверхности дороги, погодных условий, особенностей обуви, но во многом они индивидуальны и в комплексе с другими характеристиками человека могут служить предметом его идентификации. Тем не менее электронное устройство распознает (и фиксирует в электронной памяти) стиль ходьбы или бега пользователя. А это позволяет сравнивать в динамике в разное время (месяцы, годы) сопоставимые параметры и даже вырабатывать простые (сложные даст специалист, тренер, врач) рекомендации для корректировки техники ходьбы или бега с целью победы в соревнованиях или снижения вероятности получения травм. В комплексе с умными носками можно задействовать не менее «умную» футболку со встроенным анализатором сердечного ритма и другими датчиками (рис. 9).

Польза идей для российских разработчиков

Из рассмотренного материала следует, что идентификация пользователя по анализу походки с использованием мультимодальных электронных датчиков в «умной стельке» или носке – не единственная перспектива в области развития новейших технологий. На основе тренировочного устройства для спортсменов-теннисистов – для улучшения вращения кисти руки – создан носимый бесконтактный свободно вращающийся гибридный наногенератор для устройств автономной электроники (рис. 10).

Помимо сбора энергии, многофункциональные трибоэлектрические наносенсоры на текстильной основе имеют аддитивную функционализацию (рис. 11). 

В данном случае перспективно не только встраивание, но и вышивка на ткани носимых и моющихся суперконденсаторов (ионисторов), реализованных в гибкой форме.

На рис. 11 и рис. 12 наглядно показаны особенности новейших микромембранных технологий. Примерно такими же являются и датчики давления на основе трибоэлектрических наногенераторов, пригодные для машинной стирки и воздухопроницаемые, а также трибоэлектрические наногенераторы из текстиля, пригодные для машинной стирки, для эффективного мониторинга дыхания человека. О пьезоэлектрических и трибоэлектрических наногенераторах на основе волокон/тканей для гибкой/растягивающейся и носимой электроники и искусственного интеллекта можно прочитать в [3]. Создан даже гибкий сверхчувствительный ёмкостный датчик давления для мониторинга движения баскетбольного мяча, а также гибкие самозаряжающиеся блоки питания для портативной электроники на основе сложенной углеродной бумаги и самозаряжающаяся система питания на основе гибких бумаг с электропроводным слоем. Это стало возможным благодаря сочетанию трибоэлектрических и хеморезистивных эффектов и достигается путём гибридизации волоконных наногенераторов, солнечных элементов и суперконденсаторов (ионисторов миниатюрной формы).

Вложенный арочный трибоэлектрический наногенератор для биомеханического зондирования с большим отклонением и сбора энергии представлен в [4]. О стратегиях и приложениях для управления поверхностным зарядом, генерируемым контактной электризацией, можно прочитать в [11]. Носимая трибоэлектрическая / нитрида алюминия наноэнергетическая наносистема с самоподдерживающейся фотонной модуляцией и непрерывным измерением силы представлена в [2]. Проведены исследования в широком поле: от растяжимых датчиков деформации на основе проводящих электроток самовосстанавливающихся динамических механически «сшитых» гидрогелей для обнаружения движения человека до практически пригодных в области строительного контроля «интеллектуальных ковриков» масштабируемой системы мониторинга пола [12].

В целом об интересных тенденциях, разработках и конструкциях можно прочитать в [8–17]. Причём даже эти публикации в условиях быстрого устаревания технических данных можно считать неактуальными, так как им свыше 5 лет. Но в целом можно говорить о большом прогрессе в разработках РЭА носимой электроники, равно как в области фотоники, а также развитии в спортивной медицине и здравоохранении семантических платформ большой ёмкости для интеграции гетерогенных данных носимых устройств. В этом направлении речь идёт о концепции и перспективах проектирования, создания, производства и обслуживания цифровых двойников как новой эры в развитии робототехники и ИИ.

Особенности трибоэлектрического сенсора

Несмотря на то что идее преобразовывать движения тела при ходьбе или беге в электрический ток с помощью «умной» одежды много лет, современные перспективные способы решения насущных задач связаны с трибоэлектрическим эффектом – появлением в материале электрических зарядов из-за трения. Так появились и совершенствуются «трибоэлектрические умные носки» с поддержкой беспроводной связи, облачных приложений виртуальной реальности и в целом IoT. Одно из необычных или специфических направлений приложения идеи – управление компьютерными программами, приложениями и видеоиграми, в том числе в дополненной реальности, с помощью движений стопы по тому же принципу, как можно управлять электронными устройствами с помощью тактильного нажатия на кнопки и клавиши или прикосновениями к интерактивному экрану пальцами ладони. Что касается виртуальной реальности, заслуживает внимания разработка команды инженеров из Сингапура под руководством Ли Чжэнго, создавших реальный прототип умного носка, где движения пальцев стопы или притопывание, подпрыгивание, перенос веса тела с пятки на носок (и др.) превращаются в управляющую команду от пользователя к электронной системе [12, 15].

В основе технологии – трибоэлектрические наногенераторы (T-TENG), используемые как для выработки энергии, так и в роли сенсоров определения давления. Датчики состоят из двух внешних непроводящих электрический ток слоёв, между которыми два проводящих ток слоя из металлизированного полиэстера. Притом один слой покрыт нитрилом, а другой – силиконом с рельефной поверхностью в виде матрицы из усечённых пирамидок в 3 миллиметра высотой (рис. 12).

При механической нагрузке тела человека на горизонтальную поверхность, возникающей во время ходьбы, прыжков или бега, между внутренними слоями датчика происходит перераспределение электрических зарядов и возникает разница потенциалов (напряжение). На конкретных примерах установлено, что за 300 шагов в спокойном темпе движения с помощью такого датчика можно зарядить конденсатор ёмкостью 27 мкФ до напряжения 8,2 вольт [12].

Этого вполне достаточно для питания модуля Bluetooth, чтобы передать на смартфон или иную компьютерную систему за 15–20 метров цифровые данные с электронных датчиков, установленных в сенсоре в носке. И не только данные о температурном режиме или влажности, но и многие другие.

Встроенный в носок трибоэлектрический сенсор показан выше на рис. 8.

Принцип работы датчиков

Информация с трёх трибоэлектрических сенсоров, размещённых на подошве носка, обрабатывается (фильтруется от помех и модулируется) с помощью расположенного на теле пользователя электронного модуля с микроконтроллером. Затем данные передаются по беспроводному каналу и посредством персонального компьютера к предварительно обученной нейросети (ИИ), которая в автоматическом режиме распознаёт действия пользователя – ходьбу на месте, скольжение, прыжки, бег – и передаёт результат в виде команд в видеоигру. Алгоритм может выделять поведенческие паттерны, присущие конкретному игроку.

Но возможные применения умного носка не ограничиваются развлечениями. К примеру, устройство можно использовать для идентификации людей в системе управления умным домом. Если добавить датчики температуры и влажности, устройство подходит для отслеживания состояния здоровья или показателей физической активности спортсменов на тренировке.

Трибоэлектрический наногенератор (TENG) стал оптимальным вариантом для сбора отработанной энергии и измерения как биофизических, так и химических параметров на основе текстильной платформы из-за особых преимуществ, включая различные варианты материалов, простоту изготовления, низкое энергопотребление и низкую стоимость. Среди иных положительных факторов способность структурного удержания и усталостной прочности при ношении и стирке. Большинство T-TENG работают в режиме вертикального размещения контактов в автономном режиме. Специалист по фамилии Он и другие разработали узконаправленный датчик T-TENG, который может собирать механическую энергию с различных частей тела для питания модуля Bluetooth [6].

Почему именно электронные носки?

Большинство подобных устройств не подходят для измерения давления, особенно на ногах из-за ограниченного диапазона чувствительности. Большие усилия направлены на разработку стелек с функциями сбора энергии, поскольку требования к гибкости и комфорту ношения стелек невысоки. Несмотря на то что носки принято стирать чаще, чем стельки, с точки зрения пригодности и долговечности обувные стельки также снабжают беспроводными датчиками T-TENG. С другой стороны, носки более универсальны в использовании в закрытых помещениях; их не снимают и дома, где обувь не всегда применима.

Конструкция и технические особенности

Хотя поверхностно-структурированный сенсор T-TENG по форм-фактору тонкий и почти неотличим от обычной одежды, диапазон чувствительности датчика до 200 кПа пока условно ограничен. В новых разработках использована технология нанесения проводящего слоя на поверхность силиконовой резины с помощью 3D-печатной формы, которая является недорогой и масштабируемой для массового производства в будущем. Датчик T-TENG содержит четыре функциональных слоя, включая тонкую нитриловую плёнку, плёнку из силиконовой резины с узорчатыми структурами пирамиды с квадратным основанием, как показано на рис. 13, и два контакта прикреплённых к задней части двух слоёв проводящих ток электродов. Не проводящие ток слои текстильного материала дополнительно используются для герметизации устройства. При воздействии на горизонтальную поверхность стопой давление на датчик индуцирует движение электронов: происходит преобразование механической энергии давления в электрический ток.

Напряжение на выходе датчика-сенсора при заявленной чувствительности 0,4 В кПа–1 возникает при давлении 72 кПа. Возможно давление стопы на основание горизонтальной поверхности (грунт) в большом диапазоне до 200–300 кПа. Поэтому желателен большой диапазон чувствительности сенсора, по крайней мере, до 200 кПа, чтобы корректно преобразовать давление и рабочую механическую деформацию датчика в электрический ток. Притом динамика напряжения холостого хода датчика T-TENG (без давления стопы) с разработанными поверхностными структурами при возрастающих приложенных давлениях показана на графике рис. 14с. С применением структуры усечённого конуса в миллиметровом масштабе, нанесённой на поверхность силиконовой резины, можно наблюдать почти в 3 раза более высокую чувствительность по сравнению с датчиком с плоской структурой (первый линейный диапазон от 10 до 70 кПа). Таким образом, диапазон чувствительности успешно расширен до > 200 кПа, что делает устройство достаточно чувствительным для восприятия изменённой амплитуды напряжения (на выходе датчика) электронным модулем с АЦП.

Форма импульсов на выходе датчика в разомкнутой цепи при высоком давлении 244 кПа в двух вариантах исполнения датчиков с/без структур усеченного конуса представлены на рис. 14d, e. Примечательно, что абсолютное значение напряжения датчика с усеченным конусом также увеличивается в 3 раза для увеличенных площадей стопы (давления). Это актуально тогда, когда пользователь имеет условно большой размер обуви или увеличенную площадь давления на грунт, к примеру, если пользователь обут не в кроссовки, а в лыжные ботинки с пристёгнутыми лыжами.

Характеристики переданного заряда (Q) и тока короткого замыкания (I-sc) датчика T-TENG проверены и схематически изображены на рис. 14f. Передаваемый заряд T-TENG измерялся в вариантах нагрузки 13, 38 и 244 кПа со скоростью воздействия (нажатия и отпускания) 15 мм/с^–1 (рис. 14f). Исследованиями установлено, что значение напряжения (амплитуда импульсов) на выходе датчика увеличивается с приложенным давлением, а также из-за увеличенных площадей контакта. Аналогичным образом измерялся ток короткого замыкания T-TENG, и та же тенденция справедлива при увеличении давления нагрузки (рис. 14g). В отличие от напряжения холостого хода, амплитуда тока короткого замыкания также зависит от скорости нажатия стопы на поверхность и последующего отпускания. Как показано на рис. 14h, меньше амплитудных пиков наблюдается, когда скорость нажатия/отпускания уменьшается с 15 до 5 мм/с^–1, и амплитуда пикового тока также снижается из-за сниженной скорости воздействия. Результаты испытаний на прочность и устойчивость к стирке представлены на рис. 15.

Трибоэлектрический датчик T-TENG изготавливается и прикрепляется к нижней части носка из хлопкового или совмещённого материала. С подключённым к питанию датчиком в носке или стельке походка человека подвергается электронному анализу на основе колебания напряжений на выходе датчика. Цикл походки включает четыре основных события, как показано на рис. 16 (а, b), и связан с контактами отдельных частей стопы с поверхностью: «контакт пятки», «контакт носка», «отрыв пятки» и «отрыв носка».

Основываясь на рабочем механизме трибоэлектрического датчика, будут генерироваться положительные пики при приложении к нему давления и резко уменьшаться при прекращении давления. Соответственно, когда пользователь двигается вперед, положительные пики амплитуды соответствуют контакту пятки и контакту носка, наблюдаются во время полуцикла походки, и отрицательные пики, соответственно, при отрыве пятки и отрыве носка обнаруживаются после этого воздействия (рис. 16). Таким образом, из колебаний выходного напряжения заметны некоторые предварительные характеристики, то есть частота циклов воздействия/отпускания, что характеризует походку или бег во времени. Положительные/отрицательные фронты импульсов (пиковые амплитуды) и временной интервал каждого события фиксируются в цикле походки (иллюстрация рис. 16b).

Благодаря таким характеристикам можно предварительно контролировать типы человеческой деятельности. Болезнь Паркинсона (БП) как прогрессирующее и нейродегенеративное двигательное расстройство обычно проявляется симптомами нарушения походки и даже падениями. Чтобы показать возможное применение медицинского мониторинга применительно к рассматриваемому устройству, были выполнены имитирующие движения БП, которые часто измеряются у пациентов, и соответствующие обнаруженные сигналы показаны на рис. 17.

Три состояния, включая нормальную ходьбу, потерю шага и застывание походки (ЗП), обнаруживаются последовательно. Пациент типично испытывает потерю шага перед ЗП, что характеризуется укороченными интервалами между спайками. Медицинскими исследованиями установлено, что в это время пользователь не может пошевелить ногами, даже намереваясь это сделать, что и отражено небольшими и нерегулярными колебательными сигналами от датчиков. Кроме того, электронное устройство используется для обнаружения события падения по записанным сигналам походки. Условно аномальный отрицательный пик с высокой амплитудой импульсов по сравнению с предыдущими нормальными данными может быть обнаружен, когда происходит падение, и после этого не генерируется положительный пик амплитуды, что указывает на то, что ноги пользователя всё ещё не оторваны от земли.

Кроме того, проиллюстрирована система удалённого мониторинга здравоохранения в реальном времени как демонстрация умного носка. Сигналы походки анализируются микроконтроллером (MCU) и передаются на ПК, а далее в «облако» по беспроводной связи. Если походка пользователя соответствует нерегулярным сигналам по сравнению с записанными нормальными сигналами ходьбы, система экстренного медицинского оповещения отобразит соответствующее предупреждение, к примеру, о потере шага или падении и проинформирует лиц, осуществляющих уход и надзор за пациентом.

Таким образом, система мониторинга состояния здоровья в реальном времени и оповещения о неотложной медицинской помощи представляют большую перспективу для подобных усовершенствованных в будущем электронных устройств в различных приложениях электронной системы контроля здоровья для оказания помощи как пожилым людям, так и пациентам с ОВЗ, что может быть дополнительно использовано для «умного дома», стационарных клиник и медицинских центров. Устройство может быть также полезно при изучении моделей ходьбы у людей, страдающих такими заболеваниями, как диабет, мышечно-скелетные аномалии и реабилитация после различных травм.

Помимо распознавания походки, поскольку электронное устройство работает на основе самопитающегося (с автономным питанием) трибоэлектрического механизма, его можно использовать в качестве аккумулятора электрической энергии от движений стопы. Выходная мощность устройства на правой ноге измеряется при различных внешних нагрузках от 0,1 до 100 МОм.

Как показано на рис. 14e, выходная мощность 0,32 мВт генерируется при ходьбе с частотой 1 Гц при нагрузке 44,4 МОм. В случае бега с частотой воздействия стопы на грунт 2 Гц из-за большей силы и частоты, которые стопа прикладывает к носку, максимальная мощность 3,18 мВт измерена при сопротивлении 21,3 МОм (рис. 14f). Следовательно, предлагаемый носок способен аккумулировать энергию под воздействием циклов походки при различных движениях. Как мы показали выше, модифицированное выходное напряжение при давлении носка стопы заряжало конденсаторы емкостью 1; 4,7; 10 и 27 мкФ до 5 В (рис. 14g), демонстрируя характеристики надёжного источника питания [12].

После примерно 300 шагов при обычной ходьбе устройство может зарядить конденсатор ёмкостью 27 мкФ до 8 В для питания модуля Bluetooth, после чего напряжение на конденсаторе падает до 2 В, как показано на рис. 14h. Эта мощность от носка активирует питание модуля беспроводной передачи сигналов Bluetooth для отправки сопутствующих данных, к примеру, о влажности (потливости) тела и его температуре на смартфон, использующийся для мониторинга температуры тела человека при различной интенсивности упражнений. Поскольку температура тела связана с интенсивностью упражнений, эти данные следует учитывать при оценке температуры тела субъекта. Интересно, что и температура тела в подмышечной впадине субъекта регистрировалась при различных состояниях активности (обычная ходьба, легкие упражнения, умеренные упражнения, интенсивные упражнения и отдых после упражнений) в пяти и более различных ситуациях, как показано на рис. 14i.

Температура тела в районе подмышки постепенно увеличивалась, когда пациент непрерывно выполнял упражнения, и снижалась в состоянии покоя. В результате контроля зафиксированные колебания температуры тела дают представление о физическом состоянии человека, а повышенная температура тела является показателем или недомогания в различных нозологиях, или интенсивных упражнений. Между тем устройство TENG, подключённое параллельно с диодом и мультиплексором, может обеспечить на выходе ток большого значения. Следовательно, новаторский подход к созданию усилителей тока и напряжения выходных каскадов новых электронных модулей на основе рассматриваемого сенсорного датчика с применением диода является осуществимым для ускорения включения и эффективности модуля Bluetooth и других «потребителей» энергии.

Благодаря интеграции устройства с внешним модулем и (или) другими маломощными датчиками с различными функциональными возможностями в будущем возможно создание ещё более комплексной платформы (IoT).

Поскольку индивидуальная скорость ходьбы является важным фактором для анализа походки, необходимо тщательно определить время замера импульсов с датчика. По опытным данным точность достигает наивысшей степени, когда период измерений составляет 4 с. Технические характеристики включали замеры амплитуды импульсов, их частоту, интервал событий в цикле походки и другие.

До появления рассматриваемого датчика в ручном извлечении характеристик, таких как частота, амплитуда, интервал пиков и время удержания, нельзя было корректно распознавать сложные характеристики с тонкими различиями между ними, и подобные системы (ранее) были весьма восприимчивы к изменениям окружающей среды, что приводило к снижению точности распознавания данных.

Слияние технологий нового электронного устройства в сочетании с аналитической системой ИИ способствовало развитию технологии датчиков давления на примере TENG и в целом интеллектуальной системы, связанной с процессом сбора, обработки/анализа и передачи данных. Поэтому технологии обучения ИИ из-за высокого уровня производительности во многих типах данных становятся весьма предпочтительным вариантом машинного обучения с перспективой для анализа данных от трибоэлектрического датчика для достижения более высокой точности комплексного распознавания.

Сверхточная нейронная сеть (CNN) становится ещё одной многообещающей технологией глубокого обучения ИИ для автоматического извлечения данных от новейших датчиков NENG. Кроме того, одномерный (1D) метод на основе CNN для распознавания человеческой деятельности оказался эффективным для общего анализа набора данных, в котором положение признаков в сегменте не сильно коррелирует; таким образом, он подходит для анализа временных последовательностей рассматриваемых электронных датчиков. В данном случае необработанные данные из электронного устройства, содержащие разнофакторную информацию о динамическом цикле походки, такую как скорость походки, контактное усилие между стопами и обувью, последовательность срабатывания датчиков и индивидуальные манеры (стиль) движения конкретного пользователя, интерпретируются для обучающей модели 1D CNN напрямую без сложных этапов обработки данных [8].

На рис. 16a, b показана идентификация шаблона походки участников, применяющих устройство с одним датчиком, с помощью метода 1D CNN. Набор данных создан из анализа и тестов разных участников эксперимента (женщина с весом 45 кг; женщина с весом 40 кг, 60 кг; мужчины соответственно с весом 55, 60 и 70 кг), когда они ходили обычным образом, но равное время по коридору длиной 15 м в течение примерно 600 секунд. Затем средние 500-секундные данные (16 000 точек данных в условиях стабильного стиля ходьбы) были сегментированы и дифференцированы. Для каждого участника эксперимента полученные данные были разделены.

Хотя электронное устройство с одним датчиком демонстрировало относительно хорошую точность дифференциации моделей походки участников, точность показаний датчиков может значительно снизиться по мере увеличения числа участников, поскольку отсутствует пространственно-временно́е обнаружение давления стопы каждого.

Использование даже небольшого датчика размером 3×3 см для получения и анализа выходных сигналов, полученных в разных точках стопы, показано на рис. 18.

Большее напряжение означает лучшую чувствительность для различения моделей походки разных людей; таким образом, разработчики выбрали несколько мест с наибольшим давлением для дальнейшего исследования. При прикреплении многопиксельной матрицы датчиков (не менее трёх) к интеллектуальному электронному устройству, последнее помогает в более сложном анализе походки и потенциально повышает точность измерений для большей группы участников.

Выходные сигналы датчиков показывают незначительную зависимость ввиду помех от ношения разной обуви, что демонстрирует хорошую стабильность и адаптивность интеллектуального устройства при мониторинге походки. Необходимо отметить, что все рассматриваемые исследования проводились неоднократно, многомерно и именно в горизонтальной плоскости воздействия стопы: без учёта данных, когда пользователь бежал в гору или, к примеру, вскарабкивался на отвесную стену в формате альпинистского туризма. В последних случаях данные могут быть другими или рекомендованными к уточнению будущими исследованиями.

Что касается электронного устройства с тремя датчиками, после применения того же метода сбора данных трибоэлектрические сигналы с трёх каналов могут образовывать целый спектр данных и поступать на вход той же аналитической структуры CNN для классификации разных пользователей. Окончательная точность «интеллектуального носка» с тремя датчиками может достигать 100%, что на 4% лучше, чем у устройства с одним сенсором-датчиком. Поэтому чем больше количество датчиков, установленных в «электронном носке», стельке или подошве обуви, тем выше точность классификации обученной модели.

Для повышения точности системы распознавания разработчиками предложен метод 4-секундного скользящего измерения с 2-секундным перекрытием (паузой). Такой способ расширит ограниченный обучающий ИИ набор примерно в два раза по сравнению с предыдущим вариантом. С увеличением числа участников эксперимента обученный ИИ, анализирующий наборы данных от датчиков, имеет более высокую точность.

По состоянию на 2023 год выявлен набор данных из 13 индивидуальных шаблонов походки и с помощью вышеупомянутого метода достигнута высокая точность измерений 93,54%. Но из-за ограничения наборов данных точность незначительно снижается по мере увеличения числа участников реферативной группы, участвовавших в экспериментах. Эту проблему можно решить, расширив выборки обучающего набора, собрав больше данных о походке у нескольких участников.

Быстрое развитие технологий виртуальной реальности (VR) и дополненной реальности (AR) открывает путь для разнообразного применения подобных устройств в социальных сетях, личном взаимодействии, хирургическом обучении, играх и других сферах. «Умный носок» с электронными датчиками TENG с поддержкой глубокого обучения ИИ как носимый HMI может собирать и корректировать информацию о походке пользователей для создания сценариев виртуальной/дополненной реальности.

Система управления в реальном времени включает устройство с тремя датчиками TENG, модуль предварительной обработки сигнала, микроконтроллер с беспроводным передающим модулем, ПК и виртуальное пространство с соответствующим программным обеспечением, каким может быть ПО Unity.

Во-первых, когда пользователь движется, выходной сигнал трибоэлектрического датчика будет генерироваться, а затем поступать в микроконтроллер после прохождения схемы предварительной обработки. Схема предварительной обработки используется для фильтрации окружающего шума и устранения перекрёстных помех между различными каналами. Она в основном состоит из электронных модулей с несколькими функциями: смещения, усилителя и фильтра нижних частот. Затем микроконтроллер обнаружит эквивалентный аналоговый сигнал выходного напряжения и отправит данные всего спектра на ПК через беспроводную передачу. На основе полученного спектра сигналов обученная модель машинного обучения ИИ отправит соответствующие команды движения в ПО Unity. В рассматриваемой разработке пока доступны пять движений по умолчанию, чтобы управлять виртуальным персонажем, включая прыжок, бег, скольжение, скачок и ходьбу.

После обучения модели на основе 1D CNN точность распознавания действий человека достигает 96,67% при 100 обучающих образцах для каждого движения, как показано на карте «ошибок».

ПО Unity получает команду прогнозируемого движения и преобразовывает её в движение виртуального персонажа. К примеру, когда появляется на пути персонажа виртуальной игры «куча дров», пользователь должен выполнить прыжок, чтобы перепрыгнуть её неповрежденным. В далёкие времена это можно было выполнить манипуляцией на клавиатуре или с помощью джойстика любого вида, включая манипулятор типа «мышь». Теперь такое движение реального персонажа, оснащённого носками, обувью или иной формы датчиками на ступнях, одновременно синхронизировано с движением виртуального персонажа в виртуальном пространстве. В игре пользователи могут выбрать формат бега или ходьбы по лесной тропе и гравийной дороге до следующего препятствия. Когда оказываются перед скалой и каменной пещерой, они должны выполнить движение прыжка и скольжения соответственно. Эта демонстрация VR хорошо иллюстрирует потенциал функции и возможности «интеллектуального электронного носка» с датчиками TENG для реализации передовых многофункциональных HMI и разнообразных электронных приложений. В будущем интеллектуальная система на основе таких устройств будет дополнительно интегрирована с персональной системой мониторинга фитнеса, измеряющей и анализирующей данные о физической работоспособности во время VR-игры.

Распознавание жизнедеятельности человека с помощью «умных носков» показано на рис. 17 (выше).

Поскольку устройство с ИИ в непрерывном режиме способно распознавать и идентифицировать активность конкретного пользователя-человека, оно имеет большое значение в разработке интеллектуальной носимой системы, где движение всего тела и физические сигналы непрерывно контролируются по сигналам от электронных носимых датчиков. Такая система способствует быстрому развитию будущего «цифрового человека», где реалистичная цифровая копия человека может быть создана в виртуальном пространстве. Для простой демонстрации будущего применения означенной концепции разработана система умного дома, позволяющая автоматически отличать членов семьи от незнакомцев, а также осуществлять мониторинг в реальном времени действий членов семьи в помещении и в иной среде без видеокамер. Система умного дома может устанавливать протоколы беспроводной связи с интеллектуальными электронными устройствами нескольких пользователей одновременно. Сегменты собранных сигналов походки от пользователей отправляются в автоматизированном режиме на первый этап системы умного дома отдельно для распознавания личности пользователя. Да, выход трибоэлектрического датчика в разной степени восприимчив к изменениям окружающей среды, таким как влажность (и др.), что влияет на точность распознавания личности пользователя по движениям и походке.

Чтобы устранить помехи от окружающей среды, помогут аналитические базы данных – наборы данных пользователей, собранные за несколько дней или недель. Эти результаты также указывают на эффективность метода повышения надёжности трибоэлектрических датчиков, что до недавнего времени считалось одной из проблем для применения систем с T-TENG в практических приложениях. После распознавания личности на первом этапе сигналы походки членов семьи перейдут ко второму этапу мониторинга активности в реальном времени для вывода окончательной характеристики индивидуальной активности. Для построения индивидуальных классификаторов извлекаются три популярных активных действия (бег, ходьба, прыжки). Интегрируя обученную ИИ-модель идентификации и модель распознавания движения в сравнении с формой сигнала от стиля походки, получают соответствующий результат прогнозирования. Как дополнительный и отвлечённый (перспективный в ряде задач) вариант виртуальное пространство (ИИ) сгенерирует новую модель человека, которая выполнит те же действия, что и прогнозируемое движение походки реального персонажа.

Так электронная система обеспечивает выполнение задач идентификации, контроля и прогнозирования действий человека без применения видеокамеры как привычного уже аспекта конфиденциальности и безопасности умного дома. То есть является альтернативным средством комплексной идентификации и, как минимум, его перспективным компонентом.

Эта интегрированная система различных моделей глубокого обучения также может быть использована для будущей настройки интеллектуального класса. На рис. 19 демонстрируется система регистрации.

Все сигналы, полученные от вошедших в класс учеников, будут идентифицированы и отображены в системе. Как показано на рис. 19c, когда неизвестный ученик перемещается из-за пределов класса в класс, сигнал походки в реальном времени будет собираться и анализироваться системой для идентификации ученика. А ученики, входящие в класс, будут зарегистрированы в системе с помощью триггерного сигнала, как показано на рис. 19d. Топнув ногой дважды, ученик будет синхронно с другими отображён в виртуальном пространстве. После этого можно определить, сидит ли ученик на сиденье или продолжает двигаться.

Система может не только регистрировать количество людей, участвующих в занятиях, но и отслеживать записи учеников, входящих и выходящих из класса. Кроме того, температура тела пользователя может быть определена с помощью встроенного температурного датчика и загружена на сервер вместе с информацией о походке, в этом случае температура тела всех зарегистрированных учеников в классе также будет контролироваться, обеспечивая более полный мониторинг личного статуса. Мониторинг температуры тела не только полезен для самого пользователя, но и помогает контролировать широкое распространение заразных заболеваний, которые могут вызывать лихорадку, как обнаруживаемый симптом. В результате, используя методы глубокого обучения, этот интеллектуальный носок может в итоге превратиться в решение для обеспечения более безопасной и более интеллектуальной среды, поскольку интеллектуальное здание не нуждается в поддержке со стороны камер и микрофонов (рис. 20).

Перспективы разработки

Электронное устройство с поддержкой обучения ИИ на основе трибоэлектрических датчиков разработано с большим потенциалом и представляется недорогим и энергосберегающим решением для современного человека. Диапазон чувствительности трибоэлектрического датчика значительно улучшен с помощью структур усечённых по форме электродов в миллиметровом масштабе, нанесённых на контактную поверхность. Получая кинетическую энергию от движения стопы (обычной ходьбы), устройство зарядит конденсатор ёмкостью 27 мкФ за 3–4 минуты, что достаточно для поддержки модуля датчика Bluetooth IoT для передачи данных о температуре и влажности. Кроме того, с помощью сенсорного носка можно обнаруживать различные действия человека с точностью 96,67% [12]. Согласно источнику, продемонстрирована фитнес-игра виртуальной реальности (VR), где устройство испытывали в качестве интерфейса управления.

В проекции идентификации и мониторинга двигательной активности человека всё сказанное даёт перспективы к улучшению функционального применения устройства не только в приложениях для умного дома, но и для создания виртуальных манекенов с искусственно воспроизводимыми движениями: для испытаний, в том числе краш-тестов разного назначения. К примеру, это может быть анализ аварийной ситуации при столкновении человека и автомобиля для выработки решений в пользу защиты человека, его жизни и здоровья.

Изготовление трибоэлектрического текстильного датчика

Трибоэлектрический текстильный датчик содержит два слоя: слой генерации положительного заряда и слой генерации отрицательного заряда. Сначала материал разрезается на требуемые размеры и форму, которые изготавливаются из металлизированной ткани (полиэстер Cu), покрытой клеем. Для изготовления электрода (слоя) положительного заряда к одной стороне проводящего материала прикрепляется тонкая нитриловая пленка. Другой проводящий электрод покрывается с другой стороны плёнкой из силиконовой резины. Процесс нанесения покрытия заключается в том, чтобы сначала дозировать требуемые количества частей A и B EcoFlex TM 00-30 в смесительную ёмкость (1A:1B по объёму или весу), затем тщательно перемешивать смесь в течение 3 минут, а затем смешанный раствор залить в форму, напечатанную на 3D-принтере, после чего должно следовать 20-минутная выдержка при температуре +70°C для отверждения. Для датчика без поверхностных структур неотверждённая смесь непосредственно наклеивалась на проводящий текстиль для формирования плоской поверхности. Покрытый силиконовой резиной текстильный материал пришивался к покрытой нитрилом основе не проводящей ток тканью для инкапсуляции.

Экспериментальное измерение характеристика

Выходные сигналы при активации датчика T-TENG измерялись осциллографом DSO-X3034A с использованием высокоомного зонда 100 МОм. Калибровка выходного напряжения для трибоэлектрических датчиков проводилась с помощью динамометра Mecmesin, MultiTest 2.5-i со скоростью 600 мм/мин^–1. Моделирование методом конечных элементов электрического потенциала между двумя трибоэлектрическими слоями (Eco-flex и Nitrile) численно рассчитывалось с использованием программного обеспечения COMSOL. Напряжение в динамике и ток короткого замыкания измерялись электрометром (модель 6514), а сигналы отображались и записывались с помощью осциллографа. Модуль Bluetooth для передачи данных датчиков температуры и влажности изготовлен из датчиков BLE (CYALKIT-E02) со встроенным датчиком температуры и влажности (Si7020-A20). Аналоговые сигналы напряжения генерируются устройством для мониторинга в реальном времени HMI в обработке аппаратной схемы, состоящей из платы микроконтроллера (ESP32-PICO-KIT V4). Для анализа полученных данных используется ПО MATLAB [12]. В целом устройство оснащено несколькими функциональными возможностями для сбора и преобразования электроэнергии в рамках IoT и распознавания походки, а также мониторинга активности человека. Дальнейшие исследования позволят получить более полную информацию о пользователях, начиная от их развлечений, социальных сетей, спортивной активности, статистики от умного дома и др.

Выводы

Мы показали лишь некоторые примеры уже принятых в серию электронных устройств, разработки которых велись в 2020–2023 годах. В основном эти разработки зарубежного производства. Однако идеи могут использоваться и российскими разработчиками.

Методы искусственного интеллекта (ИИ) значительно усилят интеллект «носимой электроники» и уже предоставляют более надёжные решения для решения проблем и резонансных задач. Ранее традиционный метод анализа информации от сенсорных датчиков был ограничен из-за необходимости обрабатывать данные, основанные на неавтоматизированном анализе поверхностных признаков. Сочетание технологий ИИ с технологиями Интернета вещей привело к появлению искусственного интеллекта вещей (ИИ IoT) для поддержки надёжной связи между электронными носимыми устройствами и облачным сервером, что улучшает возможности прогнозирования в более сложной и динамичной системе. Это касается обеспечения мониторинга процессов в реальном времени, сезонного или запрограммированного анализа данных для предотвращения диагностики неисправностей, а также будущих обновлений приложений и разработок в данной области.

С помощью электронных датчиков рассмотренного вида уже удалось значительно повысить качество жизни людей, особенно с ограниченными возможностями здоровья (ОВЗ), а также многих других потребителей из медицински здоровых участников групп и сообществ, к примеру, спортсменов. Спортивная медицина с применением устройств современной электроники перспективно развивается. В будущем описанная электронная система станет ещё более гибкой, с интеграцией гибких печатных плат (ПП), что ещё заметнее улучшит комфортность ношения устройств. С интегрированной информацией, собранной с помощью устройства, и дополнительными электронными сенсорными датчиками и нейронными электродами созданная платформа является ещё одним шагом к реализации технологии «цифрового человека» с ИИ в ближайшем будущем.

Медицинская РЭА не только диагностирует и лечит, но и помогает в тестовых и исследовательских работах, НИОКР, когда идёт борьба развития конкурентных технологий в разных государствах. В том числе в направлении повышения продолжительности жизни человека. Из рассматриваемых примеров – оценка походки и позы человека для создания экзоскелета и носимый многорежимный датчик с бесшовной интегрированной структурой для распознавания различных состояний движения суставов с помощью алгоритма глубокого обучения.

Проблемным местом для долгосрочного применения РЭА в WSN пока является большое общее потребление энергии. Для решения проблемы уже появились технологии сбора энергии из разных сред, в том числе от пота, выделяемого человеком при нагреве тела, повышения температуры или при активном движении. В первом случае эксперименты проводились в разных формах: от классической русской парной до финской и турецкой сауны (имеющих различия в том числе в температурном режиме), а также при нагреве с помощью ИК-воздействия. Об этом мы подробно поговорим в последующих статьях.

В этой связи разработчики РЭА в ведущих странах мира на основе передовых технологий активно разрабатывают носимые и, что немаловажно, экономичные и автономные электронные системы с потенциальной самодостаточностью. Развитие технологий уже идёт к следующему поколению интерфейсов человек-машина: от машинного обучения ИИ, улучшенного тактильного восприятия до нейроморфных сенсорных систем.

Литература

1. Бария М., Найин Х., Джавей А. Носимые датчики пота. Nat. Electron. 1, 160–171 (2018).
2. Донг Б. и др. Носимая трибоэлектрическая / нитрида алюминия наноэнергетическая наносистема с самоподдерживающейся фотонной модуляцией и непрерывным измерением силы. Adv. Sci. 7, 1903–636 (2020).
3. Донг К., Пэн С., Ван З.Л. Пьезоэлектрические и трибоэлектрические наногенераторы на основе волокон/тканей для гибкой/растягивающейся и носимой электроники и искусственного интеллекта. Adv. Mater. 32, 1902549 (2020).
4. Ляо Д. и др. Арочный трибоэлектрический наногенератор для биомеханического зондирования с большим допуском сбора энергии. Nano Energy 69, 104417 (2020).
5. Мейер Д., Лукович П., Тростер Г. Текстильный датчик давления для мышечной активности и обнаружения движения. Х Международный симпозиум IEEE по носимым компьютерам, 69–72 (IEEE, Монтрё, Швейцария, 2006).
6. Он Т. и др. Автономная носимая текстильная наноэнергетическая наносистема (NENS) для медицинских приложений следующего поколения. Adv. Sci. 6, 1901437 (2019).
7. Сундарам С. и др. Изучение сигнатур человеческого захвата с использованием масштабируемой тактильной перчатки. Nature 569, 698–702 (2019).
8. Фарах Д., Баддур Н., Лемэр Э. Определение фазы походки по кинематике бедра с использованием методов машинного обучения. В материалах Международного симпозиума IEEE 2017 года по медицинским измерениям и приложениям (MeMeA), 263–268 (IEEE, Рочестер, Миннесота, 2017).
9. Фокин А. Носи носки. Восемь небанальных вариантов банального подарка. URL: https://nplus1.ru/material/2023/12/30/new-year-socks.
10. Хан И. и др. Самостоятельное распознавание личности на основе походки с помощью мягкой и растяжимой трибоэлектрической ленты. Nano Energy 56, 516–523 (2019).
11. Чен Л. и др. Управление поверхностным зарядом, генерируемым контактной электризацией: стратегии и приложения. Adv. Mater. 30, 1802405 (2018).
12. Чжан З., Хэ Т., Чжу М. и др. Трибоэлектрические интеллектуальные носки с поддержкой глубокого обучения для анализа походки на основе Интернета вещей и приложений виртуальной реальности. Flex Electron 4, 29 (2020). URL: https://doi.org/10.1038/s41528-020-00092-7.
13. Чжу М. и др. Автономный и самофункциональный хлопковый носок с использованием пьезоэлектрического и трибоэлектрического гибридного механизма для медицинского и спортивного мониторинга. ACS Nano 13, 1940–1952 (2019).
14. Cai G. и др. Растяжимые датчики деформации на основе проводящих самовосстанавливающихся динамических сшитых гидрогелей для обнаружения движения человека. Adv. Sci. 4, 1600190 (2017).
15. Zixuan Z., Tianyiyi H., Minglu Z. Deep learning-enabled triboelectric smart socks for IoT-based gait analysis and VR applications. URL: https://www.nature.com/articles/s41528-020-00092-7.

© СТА-ПРЕСС, 2025

Если вам понравился материал, кликните значок - вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал - не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!