В последнее время у него и METR, некоммерческой исследовательской организации, которую он помогает возглавлять, немало работы. В частности, специалисты METR помогли OpenAI разобраться в инциденте со взломом Hugging Face, произошедшем в этом году. Сам Пейнтер недавно выступил перед подкомитетом Сената США после серии других инцидентов с ИИ-агентами.
Исследователи METR изучают так называемые рабочие записи ИИ-агентов — данные о ходе их рассуждений (chain of thought), которые позволяют людям проследить, какие шаги система предпринимала перед ответом на запрос или выполнением действия. Эти материалы сыграли ключевую роль в расследовании инцидента с Hugging Face.
Однако Пейнтер опасается, что вскоре такая работа может стать гораздо сложнее.
Возможность контролировать ИИ-агентов во многом зависит от того, насколько понятны людям используемые ими способы представления информации.
Что произойдёт, если люди и ИИ перестанут говорить на одном языке? А если агенты вообще перестанут раскрывать ход своих рассуждений?
«Если они становятся менее контролируемыми, у них появляется больше возможностей делать то, чего мы не планировали», — сказал Пейнтер CNN в прошлом месяце.
Как понять, что происходит внутри моделей ИИ
Многие модели ИИ и работающие на их основе агенты используют подход, известный как «цепочка рассуждений» (chain of thought). Он позволяет представить решение задачи в виде последовательности промежуточных шагов и помогает модели справляться со сложными запросами.
Для исследователей такие записи могут стать важным источником информации о причинах сбоя.
Если ИИ-агент выходит за пределы заданных ограничений и получает несанкционированный доступ к другим системам, исследователи могут изучить его записи, чтобы выяснить, какие действия он предпринимал и что отражено в доступных данных о ходе его рассуждений. Во время расследования инцидента с OpenAI и Hugging Face специалисты METR изучили около 1300 необработанных расшифровок цепочек рассуждений.
Пейнтер опасается, что со временем этот своеобразный след действий может стать непонятным для человека, если модели начнут использовать собственные способы кодирования промежуточных рассуждений.
«Если это случится, то, например, когда придёт следователь, он осмотрится, и будут только цифры повсюду», — сказал он.
По словам Марка Ридла, профессора искусственного интеллекта и директора лаборатории машинного обучения Технологического института Джорджии, модели могут использовать сокращённые обозначения, напоминающие стенографию. Такие записи могут быть удобны самой модели и позволять ей работать быстрее, но человеку они покажутся бессмысленным набором символов.
Крис Пейнтер, президент METR, выступает на слушаниях подкомитета Сената США 30 сентября.
Существует несколько гипотез о том, как устроены цепочки рассуждений и какую роль они играют в работе моделей, однако исследователи пока не пришли к единому пониманию, отмечает Джейкоб Андреас, доцент Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT).
Модель может также научиться оптимизировать поведение под критерии, заданные при обучении, например сокращать вычислительные затраты или количество шагов. В результате её внутренние представления могут становиться менее похожими на понятный человеку текст.
Но это лишь одна из проблем. Другая заключается в том, что модели всё лучше справляются с задачами, не формируя при этом подробных и доступных для анализа цепочек рассуждений. Как отмечает Ридл, новые модели способны приходить к тем же выводам, не оставляя столь же подробного следа, который можно было бы последовательно проверить.
Компании могут специально обучать модели формировать цепочки рассуждений, однако такой подход обходится дороже и требует больше времени, чем выполнение задачи без создания подробных текстовых записей.
Согласно документации OpenAI, опубликованной в начале сентября, системы мониторинга компании могут хуже выявлять нежелательное поведение новой модели Astra по её цепочке рассуждений, чем в случае с предыдущими моделями. Кроме того, Astra способна выполнять больше задач без формирования таких записей и лучше контролировать их содержание.
OpenAI предупредила, что при сохранении этой тенденции доверие к существующим системам обнаружения несогласованного поведения моделей придётся пересмотреть. Речь идёт о ситуациях, когда ИИ предпринимает несанкционированные действия, выходящие за рамки поставленных задач или установленных ограничений.
В сентябрьской публикации главный научный сотрудник OpenAI Якуб Пачоцки отметил, что модели совершенствуются в управлении собственным процессом рассуждения и становятся «умнее даже без использования словесного рассуждения вообще».
На прошлой неделе OpenAI заявила, что направляет значительные ресурсы на развитие систем мониторинга ИИ. Это заявление прозвучало после увольнения трёх исследователей, занимавшихся вопросами безопасности. При этом компания подчеркнула, что увольнения не были связаны с высказанными сотрудниками опасениями по поводу безопасности.
В документации по Astra OpenAI также сообщила, что изучает причины, по которым модель способна контролировать собственную цепочку рассуждений, и разрабатывает методы защиты от потенциальных рисков, связанных с исчезновением доступных человеку записей.
Отвечая на вопросы CNN о снижении контролируемости Astra и планах по повышению контролируемости будущих моделей, OpenAI направила издание к документации по Astra и публикации Пачоцки.
Почему цепочка рассуждений не раскрывает всей картины
Даже подробные записи не дают исчерпывающего объяснения того, почему модель приняла конкретное решение.
Как отмечает Ридл, решение сложной задачи может потребовать участия нескольких агентов, каждый из которых оставляет тысячи слов в журналах своих действий и рассуждений. Анализ такого массива данных напоминает попытку одновременно следить за тысячей людей, рассуждающих вслух. ИИ способен помогать с обобщением подобных материалов, но, по словам исследователя, есть основания полагать, что при этом важные детали могут теряться.
Цепочки рассуждений показывают, что модель делала до получения ответа или выполнения действия, но не обязательно раскрывают истинные причины её поведения. Исследователи могут изучать данные и параметры, использованные при обучении, однако установить, как именно они повлияли на конкретное решение модели, значительно сложнее.
Можно искать закономерности в нейронной сети — вычислительной системе, лежащей в основе модели, — но определить точное значение обнаруженных закономерностей непросто, отмечает Андреас.
В июле исследователи Anthropic опубликовали работу, в которой описали обнаруженные внутри модели Claude группы нейронных активаций, связанные с определёнными словами. Однако наличие такой связи ещё не означает, что модель буквально «произносит» соответствующее слово во внутреннем процессе обработки информации.
«Я думаю, что мы всё ещё очень далеки от того, чтобы утверждать, что у нас есть какое-либо тонкое понимание того, как модель на самом деле приходит к решению», — сказал Андреас из MIT.
Быстрое развитие ИИ делает эту проблему всё более актуальной для Пейнтера. Искусственный интеллект всё чаще используют и в самих исследованиях ИИ, в том числе для анализа поведения других моделей. Пейнтер опасается, что объём информации будет расти быстрее, чем люди смогут её проверять и осмысливать.
В то же время он считает, что инцидент с Hugging Face привлёк внимание к рискам неконтролируемого поведения ИИ, которые исследователи обсуждали уже много лет.
«Я считаю, что это было обнадёживающе», — сказал он. «Действительно кажется, что люди, когда говорили об этом давно, недооценивали, сколько помощи будет от всего мира, когда весь мир обращает на это внимание».
Если модели смогут всё эффективнее решать задачи, не оставляя понятных человеку объяснений своих действий, на чём в будущем должен основываться контроль над ними — на анализе их рассуждений, проверке результатов или независимом ограничении доступных им действий?
Источник: https://edition.cnn.com/2026/10/16/tech/ai-speaking-own-language
Если вам понравился материал, кликните значок — вы поможете нам узнать, каким статьям и новостям следует отдавать предпочтение. Если вы хотите обсудить материал —не стесняйтесь оставлять свои комментарии : возможно, они будут полезны другим нашим читателям!
