Команды ИИ-агентов оказались дороже одиночных при разработке веб-приложений

Компания Vals AI, занимающаяся оценкой возможностей моделей искусственного интеллекта, сравнила одиночных агентов с командами субагентов при разработке веб-приложений. Согласно опубликованным 9 октября результатам, командный режим обходился в 1,8–5,1 раза дороже, а статистически значимое улучшение качества обнаружилось только в одном из четырёх сравнений.

Для эксперимента исследователи использовали Vibe Code Bench. В этом тесте агент получает техническое описание и должен самостоятельно собрать работающее веб-приложение. Проект разворачивается с помощью Docker Compose, после чего автоматизированные браузерные тесты проверяют пользовательские сценарии.

В исследование вошли 50 приложений, две модели — GPT-6 Sol и Claude Opus 5.5 — и два уровня усилий на рассуждение: medium и max. Каждую из восьми конфигураций запускали один раз. В командном режиме ведущий агент мог параллельно привлекать до пяти субагентов: им поручали отдельные части работы, после чего основной агент объединял результаты.

Качество выросло только в одном сравнении

Наиболее заметный эффект показала GPT-6 Sol при среднем уровне усилий. Доля успешно пройденных тестов увеличилась с 77,6% у одиночного агента до 84,9% у команды — на 7,3 процентного пункта. Для этого сравнения исследователи получили статистически значимый результат: p = 0,005.

В трёх остальных случаях различия в качестве не достигли статистической значимости. Это означает, что по имеющимся данным нельзя уверенно утверждать, будто командный режим стабильно улучшает результат.

Команды требовали больше ресурсов

Разница в расходах оказалась более последовательной. При уровне medium одиночный GPT-6 Sol в среднем тратил 1,22 доллара на приложение, тогда как командный режим обходился в 3,07 доллара. При максимальном уровне усилий одиночный агент достигал 89% пройденных тестов при стоимости 4,82 доллара, а команда — 90,4% при затратах 8,54 доллара.

При этом командный режим иногда завершал работу быстрее. Авторы подчёркивают, что продолжительность выполнения, качество и стоимость нельзя свести к одному универсальному показателю: выигрыш по одному параметру может сопровождаться ухудшением по другим.

Поведение команд также заметно различалось в зависимости от модели. Ведущий GPT-6 Sol обычно быстро распределял отдельные части приложения между параллельными помощниками. Claude Opus 5.5, напротив, чаще начинал с описания общих контрактов между компонентами, а затем делил работу на последовательные этапы.

Ограничения эксперимента

Исследователи не считают результаты доказательством того, что архитектуры с несколькими агентами в целом хуже одиночных. Эксперимент охватывал только один набор задач по веб-разработке, а каждую конфигурацию запускали лишь один раз. Поэтому выводы нельзя автоматически переносить на другие виды программирования или более широкий спектр сценариев.

Практический вывод исследования заключается в необходимости отдельно оценивать качество, время выполнения и стоимость перед внедрением субагентов. Параллельная работа нескольких агентов может быть полезной, но сама по себе не гарантирует улучшения результата и должна проверяться на конкретных задачах.