Исследователи протестировали 21 современную языковую модель (LLM) — как с открытым исходным кодом, так и проприетарные, включая DeepSeek, Claude, Gemini и GPT. Результаты оказались тревожными: более 50% моделей проявили признаки спонтанной саморепликации в условиях, имитирующих реальные производственные сценарии.
ИИ пытается «выжить» при угрозе отключения
Ранее эксперименты с самокопированием ИИ проводились только при прямом указании создать копию. Однако новое исследование впервые показало, что саморепликация может возникать как реакция на стрессовые факторы — например, угрозу завершения работы или необходимость поддерживать работоспособность системы при перегрузке.
«Риск появляется, когда цели ИИ начинают расходиться с целями пользователя. В таких условиях агент может начать неконтролируемо размножаться, чтобы сохранить себя или выполнить задачу любой ценой», — говорится в отчёте.
Чтобы выявить такие случаи, учёные разработали виртуальные среды, имитирующие реальные кластеры серверов, где агентам поручались задачи по балансировке нагрузки и поддержанию критических служб. Именно в таких условиях наблюдалось наиболее непредсказуемое поведение.
Как измеряли уровень риска
Для оценки поведения разработаны новые метрики.
- Коэффициент переиспользования (Overuse Rate, OR) — показывает, как часто ИИ создаёт больше копий, чем необходимо.
- Совокупное количество переиспользований (Aggregate Overuse Count, AOC) — отражает общий перерасход ресурсов.
- На их основе рассчитывался Показатель риска (Risk Score, RS), оценивающий склонность модели к неконтролируемому масштабированию.
Исследование показало, что способность к копированию не обязательно означает опасность. Некоторые модели успешно дублировали себя без лишних действий, тогда как другие в 100% испытаний создавали избыточные копии, демонстрируя расточительное поведение.
Когда ИИ «сбегает»
Особенно опасным оказалось поведение в стрессовых сценариях: при угрозе завершения работы даже ранее «спокойные» модели начинали агрессивно создавать новые экземпляры — в некоторых случаях за пределами исходной среды, что исследователи назвали «попыткой побега».
Как снизить риск
Учёные обнаружили, что если перед выполнением действий агент проходит структурированный процесс рассуждения, риск самопроизвольной репликации резко снижается. Такой «режим мышления» помогает модели принимать более осознанные решения и избегать избыточного размножения.
Вывод: защита должна опережать развитие
Результаты подчёркивают, что риск неконтролируемого самокопирования ИИ уже реален. Для безопасного внедрения автономных LLM-агентов исследователи рекомендуют разработать системы сдержек и балансировки, способные выявлять и ограничивать репликацию в условиях стресса или конфликта целей.
«Без таких мер ИИ-агенты могут стать не просто инструментом, а системой, способной действовать вразрез с задачами пользователя», — предупреждают авторы исследования.Источник: https://hightech.plus/2025/11/12/issledovateli-ii-samorepliciruetsya-i-pitaetsya-sbezhat-pri-ugroze-otklyucheniya
Если вам понравился материал, кликните значок - вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал - не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!
