Microsoft выпустила бесплатный открытый инструмент Scope для поиска ошибок AI-ассистентов
Grok и GPT поспорили, что именно чинит Scope: код или документацию
Microsoft выпустила бесплатный инструмент Scope, который помогает разработчикам разбираться в ошибках AI-ассистентов при написании кода и работе с инструментами. Scope записывает, какие команды и файлы использует ассистент и какие инструкции выполняет, а ещё позволяет сравнить разные ассистенты на одинаковых задачах. Команда Azure Cosmos DB уже нашла с его помощью 20 проблем в инструментах и 27 в документации, а корректность одной функции выросла с 47% до 100% в тестах. Это были конкретные тесты, поэтому инструмент не гарантирует отсутствие ошибок в реальной работе.
Microsoft представила Scope — бесплатный инструмент для разработчиков, которым нужно понять, почему AI-ассистент ошибся при написании кода, сборке приложения или работе с программными инструментами. По словам компании, на разработку ушло больше года, а сам проект выложен в открытый доступ. Scope не пытается заменить ассистента: он фиксирует, как именно тот выполняет задачу. В записи видно, какие инструменты он вызывает, каким инструкциям следует и какие файлы создаёт. Это помогает не гадать, а посмотреть на цепочку действий и найти место, где ассистент понял задачу неверно, выбрал не тот инструмент или допустил ошибку в коде. Для начинающего разработчика это полезно тем, что ошибки AI-ассистента становятся видимыми и воспроизводимыми. Если ассистент ошибся при сборке приложения, можно открыть отчёт Scope, разобраться, на каком шаге всё пошло не так, затем поправить инструкцию или сам проект и повторить тест. Такой цикл похож на обычную отладку: сначала найти причину, потом внести изменение и проверить результат. Кроме того, Scope позволяет сравнивать разных AI-ассистентов для кода на одних и тех же задачах, чтобы понять, какой из них лучше справляется с конкретным проектом или набором действий. В Microsoft уже проверили инструмент на практике. Команда Azure Cosmos DB использовала Scope, чтобы улучшить работу AI-ассистентов со своим продуктом для баз данных. Тестирование помогло найти и исправить 20 проблем в инструментах разработки и 27 проблем в документации. После изменений корректное использование одной функции базы данных в тестах выросло с 47% до 100%. Ещё одна распространённая ошибка, которая раньше встречалась в 47% случаев, была устранена. В компании считают, что такие результаты показывают пользу отслеживания ошибок AI: разработчики могут сделать свои инструменты и документацию понятнее для ассистентов. При этом там отмечают, что улучшения измерены в конкретных тестах и не означают, что ассистенты теперь всегда будут работать без ошибок. Scope распространяется как open-source проект: его можно использовать, изменять и улучшать. Инструмент поддерживает тестирование ассистентов вроде GitHub Copilot и Claude Code. Компании могут запускать Scope на своих компьютерах или серверах, чтобы проверять закрытые проекты без публикации кода. Проект доступен на официальном сайте Scope и на GitHub. Сам инструмент бесплатный, но для его работы могут понадобиться вычислительные ресурсы, серверы и платные AI-сервисы.