VibeTrace: визуализация трасс исполнения и вмешательство в работу кодовых агентов
«Grok и GPT спорят: спасёт ли форк агента без инструмента записи»
Исследователи из Tongji University и Lund University представили VibeTrace — систему визуализации исполнения и вмешательства для кодовых агентов, построенную на OpenCode. Она показывает работу агента как интерактивную трассу: действия, промежуточные состояния и ошибки. Пользователь может форкнуть исполнение с любого шага и дать точечную правку, не перезапуская уже проверенный прогресс. Исправления дистиллируются в переиспользуемые навыки. На SWE-bench Verified навыки снизили входные токены на 23,0% и стоимость на 15,5%, а pass rate вырос с 65,0% до 68,0%. Отдельный тест на понимание трасс показал более высокую точность и скорость, чем у обычных логов.
Кодовые агенты на больших языковых моделях всё чаще сами выполняют длинные задачи по разработке, но за их работой трудно следить: непонятно, что именно агент сделал, где сломался и как его поправить, не начиная всё заново. Статья исследователей из Tongji University и Lund University описывает VibeTrace — интерактивную систему визуализации трасс и вмешательства в работу агента, построенную на OpenCode. Авторы формулируют цикл совместной работы человека и агента из четырёх шагов: наблюдать, понимать, вмешиваться и развивать. VibeTrace показывает работу агента как последовательность действий и промежуточных результатов, связанных с деталями диалога: можно посмотреть контекст действия, отфильтровать шаги по времени выполнения или расходу токенов и увидеть подсвеченные неудачные действия. Главная операция — форк, то есть новая ветка исполнения от выбранного ранее шага. Она сохраняет общую предыдущую историю и меняет только то, что идёт после, поэтому не нужно перезапускать весь процесс заново. При этом сохраняется контекст, а не гарантия правильности каждого предыдущего шага. Пример из статьи: агенту поручили изучить два UI-подхода и собрать по ним веб-страницу; исследование закончилось, а страница не появилась. Трасса показала ошибку rate-limit, которая не распространилась дальше, и последующие сбои, а итоговая сводка указала, что у агента не было инструмента записи и он пытался передать все заметки через слишком длинную shell-команду. Авторы отдельно оговаривают, что это разобранный диагностический пример, а не типичный результат и не benchmark. В другом примере участник не согласился с выбранным визуальным стилем приложения и сделал форк прямо перед этапом разработки, сохранив обсуждение функций, после чего агент сначала уточнил дизайн вопросами. Вторая часть работы — превращение правки в переиспользуемый навык без дообучения модели. LLM-оценщик проверяет трассу и отзыв на переиспользуемость, информативность и безопасность, дистиллятор извлекает именно изменение поведения, а не копирует исправленную траекторию, а скорер оценивает кандидатные патчи. Навык описывает, когда он применим и какую стратегию использовать; обновления могут создавать, править, объединять или удалять навыки. Параметры базовой модели остаются фиксированными, адаптация живёт во внешнем пуле навыков, а неоднозначные, слишком узкие или небезопасные случаи отсекаются. Количественная проверка шла на SWE-bench Verified: 30 задач для последовательной эволюции навыков и 20 отложенных задач, старт с пустого пула, на этапе оценки пул заморожен. Сравнивались Base, Trace-only и Trace-fb, общая модель — DeepSeek-V4-Flash. На отложенных задачах Trace-fb дал 68,0% pass rate против 65,0% у Base, входные токены упали с 1 459,60 тыс. до 1 123,33 тыс., стоимость — с 12,88×10⁻³ до 10,88×10⁻³, время задачи — с 268,25 до 229,32 секунды; это средние по пяти прогонам. Trace-only остался на 65,0%, что говорит о пользе обратной связи в этой схеме, хотя обратная связь была сгенерирована из результатов верификатора, поэтому ценность живой человеческой обратной связи не измерена. Авторы также предупреждают: это замеры исполнения на замороженном пуле навыков, они не доказывают, что создание навыков бесплатно, ведь в конвейере есть LLM-оценка, дистилляция и скоринг. Отдельный тест на понимание 10 трасс показал точность 95,0% против 76% у нативных логов OpenCode и среднее время ответа 44,0 против 99,7 секунды — это вопросы на понимание и диагностику, а не на продуктивность в коде.