Гибридный подход к мониторингу территорий

Введение

Под мониторингом территорий понимается решение технических задач систематического наблюдения, оценки и прогнозирования состояния определённого пространства с целью контроля изменений, выявления проблем и принятия соответствующих решений по их устранению. Для решения задач наблюдения широко применяются аэрокосмические средства, в том числе беспилотные летательные аппараты (БЛА). Последние, в свою очередь, способны обеспечить эффективный поиск причин внештатных ситуаций ввиду своей высокой мобильности. Для обработки кадров, полученных с оптико-электронных систем, используются нейронные сети (НС), обученные выделять аномалии на изображении. Информация об обнаруженных аномалиях обрабатывается людьми, которые принимают соответствующие решения на основе полученных данных. Идея авторов данной статьи состоит в том, чтобы рассмотреть различные технологии искусственного интеллекта и их гибридизацию для решения задач мониторинга территории.

Обзор мультимодальных нейронных сетей

Машинное обучение (МО) как одна из технологий ИИ в настоящее время используется в различных областях: медицинская диагностика, автономные системы управления, финансовая аналитика и информационная безопасность. В зависимости от специфики решаемых задач, таких как сегментация изображений, машинный перевод, распознавание речи и т.д., для их решения используются различные архитектуры нейронных сетей, включая, помимо прочего, свёрточные нейронные сети (CNN) для задач, связанных с пространственными данными, рекуррентные нейронные сети (RNN) и их варианты (LSTM, GRU) для обработки последовательностей и сети-трансформеры для задач, требующих внимания к контексту.

Типовые задачи и архитектуры, применяемые для их решения, приведены в табл. 1.

Большинство представленных архитектур демонстрируют высокую эффективность, но их возможности ограничены выполнением одной конкретной практической задачи или работой с одним видом данных (текст, изображения, аудио или видео). Однако при решении нетривиальных практических задач, в которых требуется параллельный анализ разнородной информации, используется комбинация различных архитектур. Такой подход к формированию систем машинного обучения получил название «мультимодальный» [1, 2]. Мультимодальными системами машинного обучения называются вычислительные модели, которые объединяют несколько архитектур нейронных сетей для решения разнотипных задач.

Мультимодальные нейронные сети (МНС) обычно состоят из взаимосвязанных слоёв, которые представляют разные архитектуры нейронных сетей, такие как свёрточные и рекуррентные нейронные сети. МНС могут параллельно обрабатывать несколько типов данных и эффективно решать различные задачи, например, распознавания изображений, обработки естественного языка и прогнозирования временны́х рядов.

Анализ показал, что выделяются три предметные области, в которых уже сейчас используются МНС.

В работе [3] решается задача точного прогнозирования траекторий пешеходов в динамичной среде. Были про­анализированы несколько архитектур, сочетающих разные типы нейронных сетей – свёрточную нейронную сеть (CNN), используемую для обработки пространственных данных, сеть внимания на графах (GAT) и рекуррентную нейронную сеть с механизмом памяти (LSTM), применяемую для обработки временны́х последовательностей. Исследование подтвердило необходимость применения мультимодальных архитектур при решении задач прогнозирования движения объектов в динамичной среде.

Работа [4] посвящена разработке и анализу гибридных методов машинного обучения, сочетающих преимущества глубокого обучения и ансамблевых алгоритмов для решения задач медицинской диагностики, характерной особенностью которых является ограниченный объём данных. Гибридный подход показал увеличение меры производительности нейронной сети – AUC (Area Under the ROC Curve – площадь под кривой) – на 10% по сравнению с отдельно используемыми методами.

Авторы статьи [5] решают проблему затруднённой классификации данных с высокой размерностью и малым объёмом обучающих выборок. Предложенная гибридная архитектура, соединяющая глубокие нейронные сети (DNN) и градиентный спуск XGBoost (Extreme Gradient Boosting), демонстрирует повышение точности классификации в два раза.

Проведённый анализ позволяет сделать вывод о том, что МНС способны решать нетривиальные практические задачи за счёт объединения различных архитектур.

Однако риски применения искусственных нейронных сетей при решении задач с высокой степенью ответственности связаны с нерешённой проблемой интерпретируемости полученных результатов.

Об использовании экспертизы в гибридном подходе

При всех преимуществах систем машинного обучения существует проблема интерпретируемости результатов их работы. Интерпретируемость призвана дать понятие о работе модели и объяснить, каким образом она принимает те или иные решения, за счёт чего повышается доверие к модели, что особенно важно при решении критических задач. В том числе к таким задачам относится мониторинг территорий. Для устранения этого недостатка применяются экспертные системы.

Экспертные системы (ЭС) – это системы ИИ, предназначенные для решения практических задач путём имитации рассуждений эксперта в предметной области. Эти системы широко применяются в информатике, медицине, финансах, производстве и других сферах деятельности. Классическими примерами ЭС могут послужить MYCIN (диагностика инфекционных заболеваний), Dendral (анализ химических структур), XCON (конфигурация компьютерных систем) [6, 7].

Экспертные системы обучаются специалистами в конкретной области знаний, и качество системы зависит от квалификации экспертов. Нейронные сети самообучаются путём самостоятельного поиска зависимости между входными и выходными данными обучающей выборки. Также экспертные системы, как правило, статичны после первоначального обучения, в то время как нейронные сети могут дообучаться в процессе функционирования.

Статья [8] посвящена анализу особенностей построения экспертных систем (ЭС), их архитектуре, этапам разработки и применению в современных условиях. Авторы рассматривают как классические подходы, так и современные методы, сочетающие традиционные подходы с нейронными сетями и нечёткой логикой. В статье отмечается тенденция интеграции ЭС с нейронными сетями для улучшения взаимодействия с пользователями. Авторы отмечают, что предложенная ЭС показала неправильные результаты только в 3% тестовых случаев.

В статье [9] отмечается адаптивность миварных экспертных систем к изменениям и их способность интегрироваться с современными технологиями, такими как нейронные сети. Это подтверждается результатами работы [10], где предложен алгоритм динамического планирования траектории для наземных роботов, объединяющей семантическое обнаружение объектов с миварными экспертными системами, которые являются расширенным вариантом ЭС, способным анализировать многокритериальные сценарии, адаптироваться к неполным данным и предлагать оптимальные решения [11]. Алгоритм позволяет повысить безопасность работы робота и адаптацию к динамически меняющимся средам. Однако данный алгоритм имеет ряд недостатков, таких как необходимость дообучения модели и зависимость от качества данных.

Важной частью ЭС является проведение экспертного анализа и обработка экспертных мнений для формирования решений. В связи с этим целесообразно особое внимание обратить на правильность организации такой экспертизы на различных временны́х интервалах и для решения различных задач.

Экспертные системы призваны помочь в оценке решений, опираясь на опыт и оценку специалистов, так как предлагаемые решения могут не соответствовать требуемому качеству. Соединение систем машинного обучения и экспертных систем обеспечит совместное решение задачи управления мониторинговой группой БЛА в условиях априорной неопределённости. Современные исследования показывают рост популярности архитектур, где нейронные сети используются для обработки и анализа данных, а экспертные системы обеспечивают контроль качества и соответствие нормативным требованиям.

Однако у большинства экспертных систем имеется ряд недостатков, таких как затруднённость анализа больших и неструктурированных баз знаний, необходимость привлечения экспертов узкой специализации для их создания и наполнения.

Прецедентный подход как способ поиска решений

Прецедентный метод заключается в том, что решения прошлых задач могут быть использованы для решения новых задач, анализируя их сходство и применяя схожие методы и стратегии. Этот подход особенно эффективен в ситуациях, когда имеется ограниченное количество информации или когда нет чёткого алгоритма для решения задачи. Прецеденты, используемые в рассуждении, обычно представляют собой пары «проблема-решение», где проблема – это конкретная ситуация или задача, а решение – это способ, которым она была решена. Когда поступает новая задача, анализируются уже имеющиеся прецеденты, находится наиболее подходящий и адаптируется для новой ситуации [12].

Прецедентный метод состоит из основных этапов:

1. представление характеристик текущей задачи в виде логико-лингвистической модели [13];
2. поиск в базе прецедентов наиболее релевантных решений на основе метрик схожести;
3. адаптация найденного решения к новой задаче (при необходимости);
4. после применения решения текущая задача и принятое решение заносятся в базу прецедентов для дальнейшего использования.

Прецедентный метод сочетает принципы человеческого мышления с вычислительной эффективностью, что делает его перспективным для решения задач с неопределённостью. Главным преимуществом прецедентов является развитие системы с появлением новых данных. Также прецеденты позволят динамически обновлять правила экспертной системы, благодаря чему возможно более эффективно решать сложные задачи и адаптироваться к изменяющимся условиям. Кроме того, использование прецедентов способствует снижению нагрузки на специалистов, обладающих ограниченным опытом или недостаточными знаниями. База прецедентов компенсирует недостаток знаний операторов, предоставляя проверенные решения. Это особенно важно в условиях дефицита высококвалифицированных кадров, так как позволяет менее опытным операторам принимать обоснованные решения, опираясь на предыдущий опыт.

Основные положения гибридного подхода

Авторы выдвигают научную гипотезу, состоящую в том, что объединение описанных технологий ИИ (нейронных сетей, экспертной системы и прецедентного метода) позволит получить гибридный подход к решению задачи мониторинга территорий. Такое решение позволит устранить недостатки каждой технологии и обеспечит рациональное распределение средств с целью оперативного решения поставленной задачи. При этом нейронные сети предполагается использовать для обработки мультимодальных данных, экспертные системы – для обеспечения логической согласованности, а прецедентный подход – для адаптации к новым сценариям.

Гибридный подход предлагается построить следующим образом.

1. МНС обрабатывают входные данные и генерируют первичные гипотезы решений.

Для реализации устройства, способного выполнять указанные функции, могут быть применены вычислительные модули, позволяющие работать с нейронными сетями различной вычислительной сложности, например, «NM Pilot» (НТЦ «Модуль»), Rock 5B (Radxa) и Jetson Nano (NVIDIA).

Важным фактором является качественная подготовка обучающей выборки для используемой архитектуры нейронной сети. Для реализации системы технического зрения поиска объекта (человека), установленной на БЛА, рекомендуется использовать кадры естественного ландшафта, в котором предполагается применение, с фигурами объекта в различных ракурсах и положениях, что позволит более точно определить его физическое состояние (в сознании, без сознания, в движении, неподвижен и т.д.), и вариантами внешнего вида (камуфлированный, заметный и т.д.). Обучающая выборка может быть получена при помощи натурных съёмок либо с использованием синтетических кадров, которые могут быть получены посредством трёхмерного моделирования в графических редакторах.

При использовании МНС возможно осуществление прогноза дальнейших действий обнаруженного объекта на основании данных о его пространственно-временно́м положении и внешних факторах, которые влияют на его мобильность (нахождение под завалами, свободное перемещение по местности и т.д.) [3].

2. Экспертная система проверяет найденное решение на соответствие правилам, составленным экспертами, и объясняет итоговый вывод через цепочку прецедентов.

3. В базе прецедентов с помощью метрик близости определяется ближайший прецедент к текущей ситуации и при необходимости адаптируется [13].

Автоматическое пополнение базы прецедентов позволит сохранить актуальность данных, а большое количество прецедентов повысит точность поиска ближайших прецедентов и, следовательно, правильность принятия решения.

Предложенный гибридный подход (рис. 1) сочетает преимущества трёх рассмотренных парадигм: адаптивность нейронных сетей, гибкость прецедентных решений, объяснимость экспертных систем – и устраняет недостатки (непрозрачность нейросетей, ограниченность квалификации экспертов и трудность получения значительного объёма базы прецедентов).

Практическое применение гибридного подхода

В рамках данной статьи предложенный гибридный подход используется для решения задач мониторинга территорий, к которым могут относиться:

• поиск и спасение людей, находящихся в зонах стихийных действий и чрезвычайных ситуаций;
• фиксация информации о точках возникновения чрезвычайных ситуаций (повреждение трубопровода, обрыв линий электропередач и т.д.) с целью принятия решений по их устранению [14–16];
• создание графической картины территории, охваченной стихийными бедствиями;
• оказание первой медицинской помощи пострадавшим с помощью доставки медикаментов и необходимых средств.

В качестве примера использования такой системы можно рассмотреть решение группой БЛА задачи помощи человеку, оказавшемуся в труднодоступном районе лесного массива (рис. 2).

При поступлении информации о пропаже человека в лесном массиве исходной информацией может выступать внешний вид человека, время и место его последнего контакта для определения ориентировочного радиуса поиска.

База данных прецедентов содержит информацию об отдельных БЛА и группах, объектах интереса/поиска, окружающей среде и принятых решениях. Данные хранятся в базе в виде логико-лингвистической модели, которая описывает каждую отдельную ситуацию.

Сотрудниками поисковых служб в данном случае используется наблюдательный БЛА, на бортовом вычислителе которого функционирует нейронная сеть с целью детекции объекта на фоне естественного ландшафта, классификации и последующей идентификации, то есть определения его физического состояния, а также прогноза его дальнейших действий. При обнаружении человека системой искусственного интеллекта выдвигается предлагаемое решение на основании проанализированных данных о пространственно-временно́м положении человека. Так, при обнаружении человека в сознании система предлагает в качестве решения отправку продовольственных ресурсов и средств связи со службой спасения.

Предложенное решение передаётся в экспертную систему. В базе прецедентов с помощью метрик близости определяется ближайший прецедент к текущей ситуации. Используются меры разнообразия, концентрации, меры включения, сходства, различия, совместимости и несовместимости событий, меры взаимозависимости, ассоциативные меры, меры подобия и др. [17]. При этом используются два типа основных показателей: основанные на качественных данных (то есть присутствие или отсутствие сущности) и количественных данных (обилие сущностей и их численность). Большинство коэффициентов различных метрик близости нормируются и находятся в диапазоне от 0 (сходство отсутствует) до 1 (полное сходство).

Вариант из базы прецедентов сравнивается с предложенным решением и оценивается экспертной системой. На основании полученной оценки формируется окончательное решение и отправляется на исполняющий БЛА, который выполняет целевую функцию в отношении обнаруженного человека.

Заключение

В рамках предложенного гибридного подхода к мониторингу территорий рассмотрена целесообразность применения экспертных систем совместно с базами прецедентов для повышения качества принимаемых решений, предложенных нейронными сетями.

Результаты исследования показали, что нейронные сети способны обеспечивать обработку неструктурированных мультимодальных данных. Прецедентный метод позволит экспертной системе принимать решения на основе предыдущего опыта при отсутствии достаточной компетенции экспертов, а автоматическое пополнение базы прецедентов обеспечит поддержание корректности принимаемых решений.

Таким образом, гибридизация нейронных сетей, экспертных систем и прецедентного подхода к принятию решений позволяет минимизировать недостатки, присущие каждому методу в отдельности, обеспечить рациональное распределение ресурсов, повысить точность и интерпретируемость систем искусственного интеллекта.

Литература

1. Абдельрахман Э. Мультимодальные модели и мультимодальное обучение: Расширение возможностей ИИ // Платформа для работы с искусственным интеллектом Ultralytics: сайт. URL: https://www.ultralytics.com/ru/blog/multi-modal-models-and-multi-modal-learning-expanding-ais-capabi... (дата обращения: 15.07.2025).
2. Мультимодальный ИИ: новое слово в нейронных сетях // Блог ServerFlow: сайт. URL: https://serverflow.ru/blog/stati/multimodalnyy-ii-novoe-slovo-v-neyronnykh-setyakh/ (дата обращения: 15.07.2025).
3. Абрамов Н.А. Исследование методов прогнозирования траектории движения пешеходов // Научный аспект. 2024. Т. 46, № 6. С. 5889–5900.
4. Gavrishchaka V. Advantages of hybrid deep learning frameworks in applications with limited data / Z. Yang, R. Miao, O. Senyukova // International Journal of Machine Learning and Computing. 2018. Vol. 8. P. 549–558.
5. Mavaie P. Hybrid deep learning approach to improve classification of low‑volume high‑dimensional data / P. Mavaie, L. Holder, M. Skinner // BMC Bioinformatics. 2023. Vol. 24.
6. Schneppat J.O. AI XCON: сайт. [Электронный текст]. URL: https://schneppat.com/xcon_expert-configurer.html (дата обращения: 14.07.2025).
7. Buchanan B. Rule-based expert systems: The MYCIN experiments of the Stanford heuristic programming project / B.G. Buchanan, E.H. Shortliffe. MA: Addison-Wasley, 1984. 754 pp. URL: https://www.shortliffe.net/Buchanan-Stortliffe-1984/MYCIN%20Book.htm (дата обращения: 14.07.2025).
8. Эрькина О.В., Пальмов С.В. Экспертные системы: структура, возможности, классификация // Форум молодых ученых. 2018. № 5–3 (21). С. 1042–1045.
9. Шэнь Цюцзе, Гун Шэншо, Варламов О.О. [и др.]. Динамическое планирование траектории робота на основе семантического обнаружения объектов с использованием миварной экспертной системы // Проблемы искусственного интеллекта. 2024. № 4 (35). С. 164–176.
10. Речинский А.В., Станкевич Л.А., Черненькая Л.В., Черненький А.В. Анализ особенностей построения экспертных систем // Известия ТулГУ. Технические науки. 2023. № 4.
11. Яковлева М.В., Аспиева Л.М. Эффективность применения миварных экспертных систем в оптимизации бизнес-процессов и принятии управленческих решений // Информатизация в цифровой экономике. 2025. Т. 6. № 2.
12. Варламов О.О. Применение миварных технологий логического искусственного интеллекта для создания умных производственных систем // Информационные и математические технологии в науке и управлении. 2025. № 2 (38).
13. Михайлова Е.С. Логико-лингвистическая модель группового прецедента // «Управление развитием крупномасштабных систем» (MLSD'2024). 2025. С. 1124–1131.
14. Прохоров А.В., Носков И.В. Мониторинг магистральных нефтегазопроводов при помощи беспилотных летательных аппаратов // Вестник евразийской науки. 2022. Т. 14. № 6.
15. Абросимов В.К., Лапин С.М. Об использовании теории сходства для оценки динамики скоплений объектов интереса на местности // Известия ЮФУ. Технические науки. 2024. №. 1. С. 29–43.
16. Фомичев А.А., Сидоров А.А. Самоорганизующийся и самоуправляемый рой БПЛА и способ контроля территории на наличие установленного события посредством такого роя, 2023, патент RU2805431C1.
17. Айроян З.А., Коркишко О.А., Сухарев Г.В. Мониторинг магистральных нефтепроводов с помощью беспилотных летательных аппаратов // Инженерный вестник Дона. 2016. № 4 (43).

© СТА-ПРЕСС, 2026