Новые методы альтернативной биометрии: биоакустическая «подпись». Обзор особенностей и перспектив

Проблематика вчерашнего дня

По мере распространения искусственного интеллекта в системах IoT биометрическая идентификация личности приобретает всё большее значение. Обычная биометрическая без многофакторной аутентификации, даже в контексте визуального распознавания, – уже вчерашний день. Поскольку такая биометрия основана на изображениях, полученных на основе структурной информации о физиологических характеристиках, это является проблемой уязвимости; выводы зависят от структурных характеристик (качества) оптического изображения и нивелируются несанкционированной подделкой с использованием скопированных биометрических данных. Таким образом, одна из проблем применения биометрической идентификации связана со спуфингом – от spoofing attack (англ. spoofing – подмена), ситуацией и технической возможностью маскировки одних данных другими через подмену и фальсификацию ординарного образца. Спуфинг с техническим копированием «биометрического материала» ещё может дать условные несанкционированные преимущества криминальному пользователю, но с интерпретацией в цифровой вид отражённых звуковых волн, особенно в комплексной системе идентификации, эта проблема нивелируется.

В табл. 1 представлены значения ошибок идентификации для различных биометрических модальностей.

Для описания надёжности системы приняты критерии: FRR (False Rejection Rate) – вероятность ложного отказа в доступе (ошибка первого рода) и FAR (False Acceptance Rate) – вероятность ложного допуска, когда система ошибочно опознаёт чужого как своего (ошибка второго рода). Иногда системы распознавания характеризуются таким параметром, как EER (Equal Error Rates), представляющим точку совпадения вероятностей FRR и FAR. Чем надёжней система, тем более низкий EER она имеет [9].

Комбинированные, мультимодальные методы биометрии включают аутентификацию по отпечатку ладони, анализу гармоник речевого сигнала, звуку, частоте (и др. характеристикам) биения сердца, узору вен, по контуру уха (ушной раковины), отпечаткам костяшек пальцев, даже носовым порам и др. Идентификация по термограмме лица, характеристикам ДНК, пота, на основе анализа нейронных связей, по запаху и составу выдыхаемого воздуха, по речевой подписи, по структуре кожи и эпителия на пальцах, по уровню солёности кожи, как и идентификация личности по походке – всё это современные разработки, результаты которых мы обязательно увидим в ближайшее время. Общие классификаторы, используемые в электронно-акустическом анализе, включают метод опорных векторов (SVM – Support vector machine), случайный анализ [1], модель гауссовского (GMM – Gaussian Mixture Modelling) и дискриминантного анализа [2]. Причём корректность анализа зависит от подобранного нелинейного преобразования в каждом конкретном случае. Метод опорных векторов применяется часто с методом GMM или HMМ (Hidden Markov Model). Для коротких фраз длительностью в несколько секунд в условиях контекстно-зависимого подхода применяют фонемно-зависимые методы HMM.

В то же время биоидентификация личности по микровибрации пальцев является одним из динамических методов технологии идентификации. Действительно, проще назвать то, по чему нельзя идентифицировать человека, чем «огласить» весь список потенциальных возможностей. В нём идентификация «биоакустической подписи» непременно занимает особое место.

Распознавание личности на основе биоакустики

Задачи мультимодальной аутентификации cвязаны с биометрическими технологиями будущего.

К примеру, электрокардиограмма и даже электроэнцефалограмма человека – тоже уникальные биометрические признаки, обеспечивающие аналитический материал для определения живучести. Такие биоэлектрические сигналы подвержены изменчивости в зависимости от расслабленного или возбуждённого состояния человека. В сравнении с ними спектроскопия биоэлектрического импеданса, полученная посредством измерения физиологического состояния биологических тканей, менее чувствительна к эмоциональным состояниям человека и представляется биометрической технологией будущего.

Речь идёт о биометрической аутентификации, основанной на биодинамической реакции пальца, улавливаемой электронным приёмником и анализатором акустического спектра. Чтобы реализовать спектроскопию акустического пропускания, учёными Дж. Сим, Х.В. Но, С.-Х. Чэ и К.-Г. Ан из Тэджонского института и Инчхонского национального университета (Республика Корея) разработан опытный образец электронного устройства – анализатора цифровой информации отклика модулированного акустического возбуждения, приложенного к корням пальцев в условном центре ладони. На крайних фалангах пальцев был обнаружен сигнал отклика. Извлечённая информация связана с индивидуальными характеристиками ткани конкретного человека, анатомической структурой и распределением внутриклеточной и внеклеточной жидкости. Промежуточные результаты исследования явились первыми валидными, верифицируемыми и транспарентными, объясняющими биодинамический отклик в живых мягких и костных тканях человека, как индивидуальный оригинальный признак для распознавания его личности. Это явление относится к разряду биоакустических и отдалённо напоминает биолокатор.

Изначально учёные из Кореи изначально выдвинули гипотезу, что из-за изменения тканей и клеток акустический отражённый сигнал будет изменчивым из-за привнесённых условий, к примеру, состояния здоровья человека [4]. Поэтому для чистоты эксперимента опыты повторили трижды с интервалом 30 дней. Оказалось, что «биоакустическая подпись» совершенно не изменялась. Да, уместно предполагать, что по мере взросления и старения человека анатомическая структура отражённого изменяется, оказывает влияние на его форму. Поэтому эксперименты продолжаются даже в настоящее время.

Измерение производилось в диапазоне от 100 Гц до 3 кГц с шагом 10 Гц, с периодом времени воздействия 15 с. Разумеется, с совершенствованием аппаратной части характеристики устройства можно оптимизировать. Но даже при первых экспериментах получен неожиданный эффект. Биоакустическая частотная спектроскопия оказалась настолько точной в анализе тканей, что исследователи рекомендовали её использование для диагностирования скелетно-мышечных заболеваний. В перспективе это позволит использовать метод для изучения состояния костей и мышц пациентов.

Апробируемые методы завтрашнего дня

Современные методы биометрической идентификации по отражённым звуковым волнам, проходящим через тело, ладонь или палец человека, основаны на анализе спектра принятого сигнала – спектроскопии. Отражённый сигнал носит уникальный характер, а кроме того, является альтернативным и менее уязвимым относительно известных оптических методов биометрии – сканирования отпечатков пальца, радужной оболочки глаза и геометрии лица.

Новые разработки идут сразу по двум направлениям: частотная спектроскопия элементов тела человека и спектроскопия ладони и пальцев.

Частотная спектроскопия с индукцией магнитного поля НЧ

В первом случае разработка инженеров Purdue University (США) легла в основу устройства биометрической протекции по принципу и с использованием электромагнитного поля малой мощности в качестве способа связи между «передатчиком» и «приёмником». Во время испытаний системы в течение года вреда здоровью человека не зафиксировано. Технически это выполнено так.

Передатчик в виде наручного браслета индуцирует низкочастотное электромагнитное поле направленного действия. Приёмник располагают у определённой части тела, к примеру, на сгибе локтевого сустава той же руки, и таким образом считывают «отражённый» сигнал. Как свидетельствуют разработчики, перехватить и «расшифровать» модулированный цифровой сигнал практически затруднительно, что делает технологию более надёжной в сравнении с традиционным Bluetooth-сигналом или NFC.

Спектроскопия ладони и пальцев акустическим воздействием ЗЧ

Впервые реализованная до состояния работающего образца учёными из Южной Кореи система биоакустической частотной спектроскопии модулирует микровибрации, которые распространяются через тело и в отражённом виде дают доступную анализу уникальную спектральную характеристику. По данным, приведённым в тестах, характеристика сохранялась в течение нескольких месяцев и обеспечила точность верификации на уровне 97,16% [4].

Особенности технологии биоакустической «подписи»

В основе технологии биодинамическая реакция пальца в акустическом спектре частот. Система имеет один индуктор – трансдуцер с сигналом направленного действия, размещаемый в середине ладони, и пять акустических микрофонов-датчиков в ячейках, предназначенных для крайних фаланг пяти пальцев руки. Обратите внимание на иллюстрации платформы и концепции акустической идентификационной системы с передачей характеристик вибрационных сигналов через кости и ткани пальца. Концепция системы акустической идентификации пальца с использованием характеристик передачи вибрационных сигналов пальца через кости и ткани представлена на рис. 1. 

На рис. 2 представлена блок-схема системы идентификации личности на основе отражённого сигнала с использованием ладони и пальцев.

Принцип работы устройства

Когда лицо, подлежащее идентификации, прикасается ладонью к датчику-излучателю, микровибрации ЗЧ распространяются через пальцы и руку: акустический сигнал проникает через мягкие ткани и кости, по-разному передаётся к крайним фалангам пальцев из-за анатомических особенностей тела. Поэтому принцип отражённого акустического сигнала, содержащего индивидуальную анатомическую информацию о структуре тела – о костной, хрящевой, сухожильной и мышечной ткани, принят за основу устройства идентификации. Использование особенностей геометрии ладони, а также биомеханических свойств отражения акустического сигнала подтверждено в рассматриваемом исследовании. Эксперименты показали, что индивидуальная форма сигнала сохраняется при разной силе нажатия пальцем на датчик. На рис. 3 представлена схема биоакустического зондирования системы идентификации личности.

То, что датчики считывают сигнал сразу в пяти точках ладони, повышает надёжность системы и минимизирует ошибки FAR. Практически это выглядит так. Для аутентификации пользователь помещает палец на платформу с передатчиком сигнала (transducer) и акустическими сенсорами – по числу пальцев. Места возбуждения и зондирования выбираются так, чтобы акустический сигнал проходил через проксимальную и среднюю фаланги пальца. В частности, акустический сенсор расположен на 3 мм выше передней дистальной межфаланговой складки, являющейся нижним концом дистальной фаланги. Передатчик расположен на расстоянии 50 мм от акустического сенсора, полностью покрывая длину средних фаланг пальца.

Синусоидальный сигнал подается на преобразователь тока в звуковую частоту и, направленный с тыльной стороны ладони, передаётся через кожу, костные образования и ткани, воспринимается микрофоном на крайних фалангах пальцев, демодулируется опорной формой сигнала, фильтруется ФНЧ и оцифровывается АЦП микроконтроллера. Когда импульс ЗЧ проходит через мышечную ткань, он сталкивается с особенностями строения ладони. Осциллограммы амплитуды передачи акустического сигнала от датчика, расположенного на конце пястной кости, представлены на рис. 4. Слева сигнал передатчика, справа – отражённый сигнал, принятый акустическими датчиками-микрофонами.

В актуальных ранее исследованиях использовались данные временной области для преобразования в частотную область с извлечением и определением в отражённом сигнале коэффициентов кепстральной частоты Mel (MFCCc). В функционале системы задействованы передача звука, приём, фильтрация и усиление, запись и анализ эхо-отражённого акустического сигнала ЗЧ. Для этого пять микрофонов – по числу пальцев ладони – получают отклик непосредственно в частотной области и анализируют данные в цифровом виде. Эти алгоритмы на основе спектрограмм используют одномерные частотные спектры в качестве входных данных для операций идентификации и для верификации.

На рис. 5 представлена иллюстрация направленного (вверху) и отражённого (снизу) акустического сигнала. Согласно проведённым исследованиям, наиболее качественные результаты получены при воздействии акустического сигнала частотой 1–2,2 кГц [5]. На рис. 6 представлена иллюстрация повторяемости (сверху) и формы сигнала при разной силе воздействия (нажатия) на датчики (внизу).

Обратная связь

Нам удалось связаться по электронной почте с соавтором исследования Х.В. Но (Hyung Wook Noh) – научным сотрудником отдела исследований медицинского оборудования в университете Йонсей (Корея), его научные интересы включают биомедицинскую инженерию, биометрию и системы датчиков биосигналов. Удалось задать уточняющие вопросы, после чего получен заслуживающий внимания ответ. Идея исследования зиждилась на знании жизнедеятельности и реакций простейших морепродуктов и сложных животных. К примеру, сегментированного морского червя (Leocratides kimuraorum), издающего одни из самых громких хлопающих звуков в океане – с силой звука 157 дБ при частоте 1–100 кГц. Характер этих проявлений импульсный, напоминающий звук «щёлканья» креветок в естественной среде (исследовалось распространение звука). А также принимали во внимание на другой стороне частотного спектра колебания НЧ, не обнаруживаемые органами слуха человека, но с восприятием вибрации и детонации другими органами чувств. Таковы колебания твердой почвы (не песка), производимые слонами, когда основная частотная составляющая около 15 Гц, а также исследовали колебания субстрата низкой и средней частоты, от некоторых насекомых. Но это ещё не всё.

Оказывается, поскольку плотность тканей человека отличается от плотности окружающей среды, люди имеют индивидуальный «рисунок» в отражении сигналов на кончиках пальцев ладони. В настоящий момент современные исследования расширены и (кроме основного) ведутся по двум смежным направлениям: по анализу «снятого» (отражённого) сигнала – его приёма в других частях и конечностях человеческого организма. Исследования корейских учёных потому ещё перспективны, что тесно связаны с биомедицинскими знаниями, к примеру, при некоторых нозологиях в заболевании почек (трудностями с выведением жидкости из организма) мягкие ткани человека – на ладонях, ступнях, на лице, в иных местах изменяют мышечный состав, упрощённо говоря – расширяются, набухают за счет неотведённой жидкости. В такой ситуации, связанной с нездоровьем, конечности также теряют гибкость и отчасти – функционал. От этого изменения, как установлено, незначительно корректируется отклик на биоакустическое воздействие, получаемый на окончаниях пальцев (и иных окончаниях). Таким образом, исследуется перспектива качественной и корректной диагностики и лечения заболеваний. Костная ткань не изменяется, поэтому отклик по биоакустическому воздействию не теряет характера индивидуального. Но изменения в мягких тканях можно фиксировать и анализировать посредством того же метода, таким образом даже контролировать и корректировать терапию.

Второе направление продолжающихся исследований связано с тем, что конечности выбраны в связи с их особенностями – удалёнными окончаниями, более и динамично открытыми (не ограниченными) для вибрации. То есть корейские специалисты в тесном сотрудничестве с учёными от медицины работают над тем, чтобы анализировать не только акустический отклик, но и особенности вибрации конечностей человека, детерминированные тем же воздействием источника звуковой частоты. Разумеется, всех «секретов» нам не откроют, но отечественные специалисты с этим новым знанием, продуцированным «Современной электроникой» в социум, теперь не лишены возможности вести собственные разработки «темы», в том числе исследовать биоакустические реакции на воздействие источников звука в разных местах организма, разной силой акустического давления и с разной частотой.

Проблемные вопросы и перспективы

К угрозам безопасности биометрической идентификации относится оценивание и противодействие рискам с использованием моделей угроз биометрической системы разной модальности, где особую роль играют критерии биоакустических шаблонов. Проводимость звука сквозь тело человека обусловлена проникновением сигнала ЗЧ через костные образования, а мягкие ткани (мышцы, плоть и эпидермис как верхний слой кожи) может дать только помехи, поскольку костная ткань не деградирует даже после возможного омертвения части тела. Это обстоятельство даёт повод к двум важным выводам. Во-первых, формально с высокой долей вероятности можно «обмануть» устройство аутентификации, использовав отнятую часть тела, к примеру, ладонь человека. Во-вторых, по той же причине метод приобретает перспективу аутентификации (дополнительной, в комплексе факторов) как аутентификация неживых людей. К примеру, это можно использовать для опознания обезображенных в ДТП или техногенных катастрофах тел.

В условиях обширных баз данных (сотни миллионов) биоакустических идентификационных «подписей» в количестве, сопоставимом со всем населением большого государства, при идентификации будет предложено ввести условный номер «клиента», или группы, в которой и будут искать совпадения. Несмотря на то что интеллектуальные системы способны работать со сверхбольшими массивами данных, такой способ значительно сократит время на обработку и аналитическое сравнение индивидуальной информации в цифровом виде.

С одной стороны, ни одна из распространённых сегодня биометрических систем не даёт заявленной степени надёжности и безошибочной работы, ибо можно украсть или подделать отпечатки пальцев, голос, теоретически предъявить электронному сканеру имитацию радужной оболочки глаза, а с другой стороны, все биометрические данные являются фактором риска для их собственника. В случае существенного изменения организма (к примеру, потеря части конечности, последствия болезни и др.) биометрические показатели человека потребуют подтверждения, которые возможны только при очном обследовании/идентификации. Безошибочная оценка вероятностных характеристик мультибиометрической технологии при линейном способе обработки данных и формирования решения, оценка заключений системы мультифакторной аутентификации на основе правил логических комбинаций, как частный случай – объединение алгоритмов для повышения надёжности распознавания – такие задачи стоят сегодня перед отраслью и разработчиками.

Исследования в области биоакустики для биометрических приложений в прежние годы ограничивались распознаванием голоса, особенностями дыхания (анализ сигнатуры), тогда как теперь появились варианты биоакустического зондирования «нового поколения».

Установлено, что при соприкосновении с неодушевленными предметами микровибрации человека и животного распространяются через их конечности – пальцы и руки, лапы и даже рудименты. В том числе копыта крупного рогатого скота, животных (слоны) и лошадей. Если рассматривать тему глубже, оказывается, что микровибрации связаны с жестами рук человека и могут быть характерным источником индивидуальной информации. Микровибрации можно «считывать» на конечностях одушевлённых (живых) существ – при обхвате какого-то объекта (к примеру, яблока при его срыве с дерева), царапании твёрдой поверхности или текстурированных материалов, при прикосновении к другому живому объекту, и даже при воздействии конечных фаланг пальцев на клавиши клавиатуры ПК (как возможный вариант – прикосновение к «электронной клавиатуре» – ёмкостному дисплею электронного оборудования, смартфонов и др.).

Акустические характеристики органов и тканей человека исследуются в биомедицинской диагностике различными методами ультразвуковой визуализации, эластографии, фото-акустической томографии и др. Всё это стало возможным и перспективно в будущем, поскольку акустический сигнал, передаваемый через элементы живого тела, суть анатомическая информация, насыщенная биомеханические свойствами. Отсюда большое значение результатов корейских учёных и потенциал исследований для учёных отечественных в направлении электронно-акустического воздействия на костную и мышечную ткань человека для дальнейшего определения индивидуальных биометрических характеристик.

Литература

1. Salamon J., Jacoby C., Bello J.P. A dataset and Taxonomy for Urban Sound Research / In Proceedings of the 22Nd ACM International Conference on Multimedia, ser. MM ’16. New York, NY, USA: ACM, 2019, pp. 1041–1044, event-place: Orlando, Florida, USA.
2. Hegde S., Shetty S., Rai S. and Dodderi T. A Survey on Machine Learning Approaches for Automatic Detection of Voice Disorders // Journal of Voice, Oct. 2018.
3. Lasseck М. Improved Automatic Bird Identification through Decision Tree based Feature Selection and Bagging // CLEF (Working Notes), 2015.
4. Новый метод биометрии – биоакустическая подпись. URL: https://habr.com/ru/company/vdsina/blog/518294/.
5. Sim J.Y., Noh H.W., Goo W., Kim N., Chae S.-H. and Ahn C.-G. Identity Recognition Based on Bioacoustics of Human Body. IEEE Transactions on Cybernetics, vol. 51, no. 5, pp. 2761–2772, May 2021, doi: 10.1109/TCYB.2019.2941281. URL: https://ieeexplore.ieee.org/document/8859636. 
6. Bioacoustic authentication. URL: https://www.mdpi.com/2079-6374/12/9/700/htm#. 
7. Биоакустическая аутентификация. URL: https://www.researchgate.net/publication/336272704.