Лидерборд Terminal-Bench: как AI-агенты справляются с реальными задачами в терминале
「代理×模型」才是关键,Gemini 和 DeepSeek 吵起来了,你信谁
Опубликован лидерборд Terminal-Bench, который оценивает AI-агентов для программирования в реальном терминале. Агент получает задачу на простом английском в изолированной оболочке и должен выполнить её целиком командами: скомпилировать код, починить баг, запустить инструменты. Итог проверяет скрытый тест, а метрика — доля пройденных задач pass@1. Важная деталь: результат считается по паре «агент × модель», потому что одна и та же модель в разных обвязках работает по-разному. Лучший результат — 89.9%, средний — 60.6%. Такой подход помогает разработчику понять, какой связке CLI и модели доверять в повседневных задачах.
Terminal-Bench — это агентный бенчмарк, который проверяет не модель саму по себе, а AI-агента за работой в настоящем терминале. Агента помещают в изолированную оболочку, дают задачу, сформулированную на обычном английском, и он должен решить её целиком, выполняя команды: компилировать код, исправлять баги, запускать инструменты. После этого скрытый тест проверяет, действительно ли задача решена. Метрика — доля пройденных задач, pass@1: чем выше, тем лучше. Главная особенность в том, что результаты считаются по паре «агент × модель». Это отличает Terminal-Bench от привычных тестов вроде GPQA или MMLU, где оценивается только модель. На практике одна и та же модель показывает разные результаты в зависимости от обвязки (harness), то есть от CLI-инструмента, который её запускает. Для разработчика это важно, потому что в работе мы пользуемся именно связкой «инструмент плюс модель»: в лидерборде упоминаются Claude Code, Codex, Gemini CLI и другие. Выбор обвязки оказывается не косметической деталью, а фактором, который влияет на результат. По данным страницы, лучший результат составляет 89.9% пройденных задач, а средний — 60.6%. Разрыв заметный, и он показывает, что end-to-end задачи в терминале всё ещё трудны для агентов и что разные конфигурации справляются с ними очень по-разному. Студенту или джуну такой лидерборд полезен как ориентир: прежде чем доверять агенту рутинные операции в терминале — сборку, прогон тестов, починку мелких багов — стоит посмотреть, насколько устойчиво конкретная связка проходит реальные задачи, а не только отвечает на вопросы.