Команда из 16 ИИ-агентов за две недели создала компилятор C: эксперимент Anthropic выявил пределы автономного кодинга

Архитектура проекта и агентный подход

Проект был реализован с использованием новой функции «команд агентов». Каждый экземпляр модели работал автономно в собственном Docker-контейнере, клонируя общий репозиторий и выполняя задачи без централизованного оркестратора. Агенты самостоятельно распределяли задачи, разрешали конфликты слияния и отправляли изменения в репозиторий.

Исследователь Anthropic Николас Карлини отметил, что компилятор C выбран как эталонная инженерная задача благодаря хорошо формализованной спецификации, десятилетиям накопленных тестов и наличию эталонных реализаций, что делает его удобным полигоном для оценки возможностей полуавтономных ИИ-систем.

Технические результаты и функциональные возможности

Полученный компилятор способен собирать крупные open-source проекты, включая PostgreSQL, Redis, SQLite, FFmpeg и QEMU, а также прошёл около 99% тестов GCC. Среди демонстрационных достижений — успешная компиляция и запуск игры Doom.

По оценке разработчиков, сопоставимый проект потребовал бы от команды опытных программистов до двух лет работы, что подчёркивает ускорение разработки при использовании агентных ИИ-систем.

Ограничения и технические недостатки

Несмотря на впечатляющие результаты, эксперимент выявил ряд серьёзных ограничений. Компилятор не поддерживает 16-битный бэкенд x86, необходимый для загрузки Linux в реальном режиме. Собственный ассемблер и линковщик работают нестабильно, а генерируемый Rust-код уступает по оптимизации ручным реализациям. Частые исправления приводили к регрессиям, что указывает на недостаточную устойчивость автономного развития сложных кодовых баз.

Карлини также отметил практический предел агентного кодинга — около 100 000 строк кода, после чего согласованность и эффективность системы резко снижаются.

Инфраструктурные «костыли» и скрытые затраты

Автономность проекта оказалась частично условной. Существенная часть работы пришлась на создание инфраструктуры: конвейеров CI, механизмов фильтрации контекста и систем контроля поведения агентов. Модели не обладают «чувством времени» и склонны зацикливаться на ошибках, поэтому инженерам пришлось внедрять дополнительные управляющие механизмы.

Заявленная стоимость в 20 000 долларов отражает лишь расходы на токены API. За пределами оценки остаются инвестиции в обучение модели, интеллектуальный вклад исследователей и десятилетия развития компиляторной экосистемы, включая эталонные реализации и тестовые наборы.

Стратегическое значение и риски

Эксперимент демонстрирует качественный скачок в возможностях ИИ-агентов: ещё год назад создание функционального компилятора даже под строгим контролем считалось малореалистичным. При этом сам Карлини выразил обеспокоенность перспективой массового развёртывания программного обеспечения, которое люди-разработчики не полностью понимают и не проверяют вручную.