Claude как «личный дневник» привёл к аресту: Anthropic передала полиции сообщения с угрозами стрельбы

Согласно отчёту об аресте, 26 сентября пользовательница, идентифицировавшая себя в переписке как Carli, написала, что собирается устроить стрельбу в офисе шерифа округа Ли. На следующий день в другом сообщении она заявила, что приобрела новый пистолет. По данным следствия, сообщения были восприняты как потенциально серьёзная угроза.

В отчёте говорится, что защитные механизмы платформы отслеживают ключевые фразы и потенциально угрожающий контент. Из-за характера обнаруженных сообщений переписка была передана на рассмотрение сотрудникам Anthropic, после чего информация поступила в правоохранительные органы. Помощники шерифа прибыли к дому Хеллер в Бонита-Спрингс и задержали её без сопротивления.

Хеллер предъявили обвинение в письменной или электронной угрозе массовой стрельбы либо террористического акта — преступлении, предусмотренном статьёй 836.10 законодательства Флориды. Судебное разбирательство по делу назначено на ноябрь. При этом обвинения являются утверждениями следствия, а вина обвиняемой должна быть установлена судом.

Шериф округа Ли Кармайн Марсено рассказал журналистам, что Хеллер называла искусственный интеллект своим «личным дневником». По его словам, пользователям подобных сервисов следует понимать, что их переписка не обязательно остаётся полностью анонимной. Правоохранительные органы, в свою очередь, должны серьёзно относиться к сообщениям об угрозах независимо от того, где они были опубликованы.

Случай также показывает, как меняется роль систем модерации генеративного ИИ. Пользователь может воспринимать диалог с чат-ботом как приватную беседу или цифровой дневник, тогда как сама платформа рассматривает часть переписки как потенциальный источник информации об угрозе безопасности.

Anthropic действительно использует автоматизированные системы для выявления нарушений правил использования и располагает механизмами передачи данных правоохранительным органам. В опубликованной компанией информации о государственных запросах указано, что в чрезвычайных ситуациях данные пользователя могут быть раскрыты, если Anthropic считает это необходимым для предотвращения угрозы смерти или тяжёлого физического вреда. Компания также сообщает, что её системы безопасности выявляют нарушения правил использования и могут приводить к дополнительной проверке или другим мерам реагирования.

Таким образом, история во Флориде выходит далеко за рамки обычного случая модерации контента. Она ставит более широкий вопрос о границе между приватным разговором с ИИ и коммуникацией, которую разработчик вправе анализировать и передавать третьим сторонам ради предотвращения возможного преступления. Если человек считает чат с ИИ своим «личным дневником», должен ли он одновременно воспринимать его как потенциально контролируемый канал коммуникации — и где в таком случае проходит граница между безопасностью и приватностью? А что об этом думаете вы?