Как ИИ сам себя проверяет: эксперимент с автономной разработкой

Что произошло

Эксперимент начался с пустого репозитория на GitHub. ИИ, управляемый моделью GPT-4.5, получил задачу: создать проект с нуля, следуя строгому правилу — каждое действие должно быть доказано. Для этого использовался инструмент didrun, который фиксировал все команды и их результаты. Второй ИИ, модель Claude, следил за процессом, анализируя репозиторий каждые несколько часов.

Детали

• Длительность: 15 дней непрерывной работы.
• Токены: Использовано 8,2 миллиарда токенов (включая кэшированные и некэшированные).
• Коммиты: 66 зафиксированных коммитов, каждый из которых содержал доказательства выполненных проверок.
• Этапы разработки: Проект был разделён на этапы (милстоуны), каждый из которых завершался только после успешной проверки.

Интересно, что первые семь милстоунов были завершены за 26 часов, но затем процесс замедлился. Основная причина — рост затрат на проверку уже написанного кода. В какой-то момент ИИ тратил больше времени на поддержку системы проверки, чем на разработку самого проекта.

Почему это важно

Эксперимент показал, что автономная разработка с жёсткими требованиями к проверке может быть крайне ресурсоёмкой. Основная проблема — затраты на проверку растут пропорционально объёму уже проверенного кода, а не сложности проекта. Это важно для тех, кто планирует использовать ИИ для автоматизации разработки: чем больше код, тем больше ресурсов потребуется на его проверку.

Что дальше

Эксперимент продолжается, и его результаты могут повлиять на подходы к автономной разработке с использованием ИИ. Возможно, потребуется разработка новых инструментов для оптимизации процесса проверки, чтобы снизить затраты на поддержку системы.