Новый отчет Gartner предупреждает: к 2028 году неправильно настроенная система искусственного интеллекта способна привести к отключению национальной критической инфраструктуры в одной из стран G20. Аналитики считают, что корпоративным CIO необходимо срочно пересмотреть подходы к управлению промышленными системами, которые стремительно передаются под контроль автономных агентов.
В отчете используется термин «киберфизические системы» (CPS) — инженерные комплексы, объединяющие сенсоры, вычисления, управление, сети и аналитику для взаимодействия с физическим миром. В эту категорию входят операционные технологии, промышленные системы управления, промышленный интернет вещей, робототехника и решения, связанные с концепцией Индустрии 4.0.
Ключевой риск, по мнению аналитиков, связан не столько с классическими ошибками ИИ вроде галлюцинаций, сколько с неспособностью алгоритмов замечать тонкие изменения в работе систем, которые обычно фиксируют опытные операционные специалисты. В условиях прямого управления инфраструктурой даже небольшие отклонения могут привести к серьезным последствиям.
Вице-президент аналитик Gartner Вэм Востер отметил, что следующий крупный инфраструктурный сбой может быть вызван не кибератакой или природной катастрофой, а ошибкой конфигурации, некорректным обновлением или даже неверным числовым параметром. Он подчеркнул необходимость внедрения защищенных режимов аварийного отключения, доступных только авторизованным операторам.
По его словам, современные модели ИИ остаются «черными ящиками», и даже разработчики не всегда способны предсказать, как небольшие изменения настроек повлияют на поведение системы. По мере роста сложности увеличивается и вероятность неправильной конфигурации, что делает критически важным возможность оперативного вмешательства человека.
Эксперты отрасли отмечают, что корпоративные ИТ-руководители давно осведомлены о рисках промышленного ИИ, однако масштаб внедрения автономных систем растет быстрее, чем зрелость механизмов управления. Одной из ключевых проблем остается слабое обнаружение дрейфа моделей, когда постепенные изменения параметров могут восприниматься системой как нормальный фон, хотя на самом деле сигнализируют о надвигающейся проблеме.
Флавио Вильянустре, CISO LexisNexis Risk Solutions, считает, что сочетание высокой сложности и недетерминированного поведения алгоритмов при управлении энергетическими или экологическими системами может привести к крайне серьезным последствиям. По его мнению, стремление руководства к повышению эффективности зачастую затмевает потенциальные риски.
Консультанты по кибербезопасности также предупреждают, что критическая инфраструктура построена на многослойной автоматизации, формировавшейся десятилетиями, и добавление автономных ИИ-агентов делает систему еще более хрупкой. Они рекомендуют организациям оценивать зрелость управления с использованием признанных рамок безопасности ИИ.
Советник по кибербезопасности Info-Tech Research Group Боб Уилсон считает вероятность серьезной промышленной ошибки из-за ИИ высокой, поскольку внедрение технологий опережает развитие механизмов контроля рисков. Он предлагает рассматривать ИИ как потенциальную внутреннюю угрозу и выстраивать соответствующие процессы управления изменениями и конфигурациями.
Аналитики подчеркивают, что организациям необходимо создавать полноценные программы управления бизнес-рисками, включая органы управления, отслеживающие изменения поведения ИИ и оценивающие последствия.
Главный аналитик Greyhound Research Санчит Вир Гогия отмечает, что предприятия до сих пор воспринимают ИИ как аналитический слой, тогда как при влиянии на физические процессы он фактически становится частью системы управления и наследует ответственность инженеров по безопасности.
По его словам, в киберфизических системах ошибки конфигурации взаимодействуют с физическими процессами: неверные пороги, изменения чувствительности моделей, алгоритмы сглаживания или масштабирование телеметрии могут незаметно изменить поведение системы и вызвать каскадные эффекты.
Эксперты сходятся во мнении, что организациям необходимо требовать четкого описания худших сценариев для каждого компонента с поддержкой ИИ и заранее определять граничные условия, предотвращающие неконтролируемое поведение. Без этого зрелость управления рисками будет оставаться недостаточной на фоне стремительного распространения автономных технологий.
Если вам понравился материал, кликните значок — вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал —не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!
