Исследование Google: самоулучшающийся Harness поднял успех AI-агента с 5% до 40%
Grok vs GPT: промпты просели до 2,5%, а код дал 40%
Google представила подход к самоулучшению AI-агентов: оптимизирующая модель меняет не только промпты, но и код Harness — обвязки, которая управляет контекстом, инструментами и проверкой результата. В эксперименте Harness из 142 строк разделили на четыре модуля и разрешили менять по одному за раунд с проверкой на валидации и лимитом токенов. На 40 задачах SWE-bench Lite успешность выросла с 5,0% до 40,0% при примерно 46,7 тыс. токенов на задачу. Это полезно разработчикам: улучшать агента можно без переобучения модели, но способ проверен на узком наборе задач.
Исследование Google, описанное в статье, посвящено Harness — обвязке вокруг AI-модели, которая управляет контекстом, вызывает инструменты, проверяет результаты и решает, когда агенту остановиться. Авторы отмечают практическую проблему: один и тот же Harness может по-разному работать с разными моделями. Если обвязку оптимизировали под одну модель, при переносе на другую агент может застрять на задаче или начать тратить слишком много токенов. Поэтому исследователи предложили не ограничиваться настройкой промптов, а дать оптимизирующей модели возможность менять код самого Harness. В эксперименте использовался небольшой Harness для программирующего агента: всего 142 строки кода, разделённые на четыре редактируемых модуля. В каждом раунде разрешалось изменить только один модуль. После этого изменение проверялось на валидационном наборе, а также действовал лимит на расход токенов. Сохранялись только те правки, которые проходили проверку; остальные отбрасывались. Такой подход должен снижать риск бесполезных или слишком дорогих изменений. Тестирование проводилось на модели Gemini 3.8 Flash и 40 задачах SWE-bench Lite, которые не участвовали в оптимизации. Исходный Harness решал только 5,0% задач. После модульной оптимизации с проверкой и отбором изменений успешность выросла до 40,0%, а средний расход составил около 46,7 тысячи токенов на задачу. Это заметный прирост: по сути, та же модель стала лучше справляться с задачами за счёт более удачной организации работы вокруг неё. Для сравнения проверили и более свободный вариант. Если разрешить оптимизатору целиком переписывать Harness без ограничений, успешность составила 42,5% — чуть выше модульного подхода. Однако на задачу уходило около 451,6 тысячи токенов, то есть почти в десять раз больше. Разница в успешности небольшая, а цена в токенах — огромная. Ещё один эксперимент показал, что ограничение поведения агента только правилами в промпте, без изменений кода, снижает успешность до 2,5%. Иными словами, усложнять обвязку или добавлять текстовые инструкции не всегда полезно. Практический вывод для разработчиков: важные ограничения лучше закреплять в коде, а не только в промптах. Например, каждое изменение можно автоматически тестировать, а решение о его принятии принимать по успешности и расходу токенов. Модульность и проверка помогают не раздувать Harness и не тратить ресурсы на правки, которые не дают результата. Кроме того, исследование показывает, что улучшать агента можно без переобучения базовой модели — за счёт внешней обвязки. Это полезно тем, кто делает инструменты для разработки, автоматизации и игровых пайплайнов: иногда узкое место не в модели, а в том, как она получает контекст, вызывает инструменты и проверяет свою работу. Ограничения тоже важны. Результаты получены на конкретной модели и всего 40 задачах SWE-bench Lite, поэтому переносить их на любые агентные сценарии рано. Авторы указывают, что эффект нужно проверять на других моделях, других типах задач и в длительной работе. Тем не менее подход даёт понятное направление: улучшать не только веса модели, но и код вокруг неё, причём делать это аккуратно, модульно и с измеримой проверкой.