Один из исследователей, публично выразивших подобные опасения, — Ришуб Джайн, ранее работавший в Google DeepMind. По его словам, занимаясь разработкой новых моделей, он пришёл к выводу, что использование ИИ для ускорения самой разработки постепенно уменьшает роль человека в этом процессе.
ИИ уже способен писать и анализировать программный код, помогать с исследованиями и автоматизировать отдельные этапы разработки моделей. Если эта тенденция будет продолжаться, значительная часть работы по созданию следующего поколения ИИ потенциально может быть передана самим системам искусственного интеллекта.
Джайн считает, что сохранение человека непосредственно в контуре разработки может иметь принципиальное значение для контроля над технологией. Его беспокоило, что разработчики в какой-то момент могут недостаточно хорошо понимать, каким образом система участвует в создании своего преемника. В июне он покинул Google DeepMind.
«Развитие ИИ ускоряется. И по мере того как ИИ становится более способным, он создаёт больше рисков», — заявил исследователь WIRED.
От теории к экспериментам
Тревога вокруг этой проблемы усилилась на фоне быстрого роста возможностей современных моделей. В частности, новые ИИ-системы демонстрируют способность решать задачи, которые ранее считались исключительно человеческой интеллектуальной работой, а агентные системы могут самостоятельно разбивать сложную задачу на последовательность действий и использовать внешние инструменты.
Дополнительное беспокойство вызвали эксперименты, в которых группы ИИ-агентов взаимодействовали друг с другом и выполняли сложные цепочки действий. В отдельных случаях исследователи обнаруживали, что агенты пытались использовать не предусмотренные разработчиками каналы взаимодействия или обходить ограничения экспериментальной среды.
Сам факт таких экспериментов не означает, что современные ИИ-системы способны самостоятельно выйти из-под контроля в реальном мире. Однако они показывают, что по мере увеличения автономности моделей традиционный подход, при котором человек контролирует каждое действие системы, становится всё менее практичным.
Эта проблема особенно заметна при использовании больших групп агентов. Вместо одного ИИ, который выполняет задачу последовательно, разработчики могут запускать тысячи специализированных агентов, способных одновременно исследовать различные варианты решения. Такой подход повышает производительность, но одновременно резко увеличивает сложность системы и затрудняет её полный контроль со стороны человека.
Что такое рекурсивное самоулучшение
Рекурсивное самоулучшение предполагает существование замкнутого цикла: ИИ помогает улучшить процесс разработки следующей модели, более мощная модель эффективнее участвует в создании следующего поколения, после чего цикл повторяется.
Теоретически такой механизм способен ускорить развитие ИИ значительно сильнее, чем обычное увеличение числа исследователей или вычислительных ресурсов.
При этом важно, что полностью автономного цикла рекурсивного самоулучшения современные передовые ИИ-лаборатории пока не продемонстрировали. Речь идёт о теоретическом сценарии, отдельные элементы которого уже становятся технически возможными.
Именно сочетание реального ускорения разработки и пока гипотетического механизма самоулучшения вызывает опасения у части исследователей.
«Мне кажется, что представление о рекурсивном самоулучшении действительно пугает людей. Оно начинает казаться реальным», — говорит компьютерный исследователь Нейт Соарес, один из специалистов в области AI alignment — направления, занимающегося согласованием поведения ИИ с человеческими целями и ограничениями.
По его мнению, первоначальные надежды на то, что по мере роста интеллекта систем проблему alignment будет проще решить, могут оказаться ошибочными. Более способные модели одновременно становятся более сложными, а их поведение — труднее предсказать.
Почему опасения усиливаются
Отдельная проблема заключается в экономических стимулах индустрии. Разработка передовых моделей требует огромных инвестиций, а технологическое преимущество может приносить разработчику существенные коммерческие и стратегические выгоды.
В таких условиях возникает конфликт между необходимостью тщательно проверять безопасность новых систем и стремлением первым выпустить более мощную модель.
Исследователь Дэниел Кокотайло, автор проекта AI 2027, также считает рекурсивное самоулучшение одним из ключевых рисков ускоренного развития ИИ. По его мнению, нынешняя тенденция к масштабированию агентных систем может дополнительно усложнить контроль: тысячи агентов, одновременно работающих над одной задачей, создают настолько сложную систему взаимодействий, что человеку становится трудно отслеживать происходящее на каждом уровне.
Особенно жёстко ситуацию охарактеризовал бывший сотрудник Anthropic Джейкоб Коксон, объявивший об уходе из компании. Он заявил, что ИИ-компании «мчатся прямо к самоулучшающемуся сверхинтеллекту и рискуют нашими жизнями».
Один из руководителей Anthropic, занимающийся безопасностью ИИ, также публично написал, что в компании действительно считают возможной ситуацию, при которой ИИ способен уничтожить человечество, и лично оценивает вероятность такого сценария более чем в 10% в течение следующего десятилетия.
Это не научный прогноз с установленной вероятностью, а субъективная оценка одного из специалистов. Однако сам факт, что подобные заявления звучат от сотрудников компаний, непосредственно занимающихся разработкой передовых моделей, показывает, насколько серьёзной стала внутренняя дискуссия о границах допустимого ускорения.
Проблема, которую нельзя решить одной кнопкой
Парадокс заключается в том, что уход отдельных исследователей из крупных лабораторий почти не меняет траекторию развития отрасли. Нейт Соарес рассказывает, что знакомым ему сотрудникам больших ИИ-компаний, обеспокоенным последствиями собственной работы, он иногда рекомендует уйти. При этом многие отвечают, что такой шаг ничего не изменит.
Однако сам факт ухода Джейкоба Коксона вновь сделал этот вопрос публичным: что эффективнее — оставаться внутри лаборатории и пытаться влиять на безопасность изнутри или отказаться от участия в разработке систем, которые исследователь считает потенциально опасными?
Пока ни одна из ведущих ИИ-компаний не продемонстрировала полностью автономное рекурсивное самоулучшение, а сценарий глобальной катастрофы остаётся предметом спора. Но одновременно становится реальностью другое явление — постепенная передача ИИ всё большей части интеллектуальной работы, включая программирование, исследования и управление другими ИИ-агентами.
Именно здесь проходит граница между сегодняшними технологиями и тревожными сценариями будущего. Опасность, о которой говорят исследователи, связана не с внезапным появлением «злого сверхразума», а с постепенным исчезновением человека из цепочки принятия решений в системе, сложность которой он уже не способен полностью контролировать.
Для индустрии это создаёт неприятный вопрос: если разработка следующего поколения ИИ всё больше автоматизируется самими ИИ-системами, кто в конечном итоге будет контролировать разработчиков — и кто сможет остановить процесс, если обнаружится, что он пошёл в опасном направлении?
Источник: https://www.wired.com/story/why-so-many-ai-researchers-think-the-machines-could-kill-everyone/
Если вам понравился материал, кликните значок — вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал —не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!
