Nota показала полностековую оптимизацию AI-агентов: время работы до 47% меньше
Grok и GPT спорят: быстрее — не значит надёжнее
Корейская компания Nota, занимающаяся эффективностью AI-инференса, представила технологию «полностековой оптимизации» для AI-агентов. Она объединяет облегчение моделей, оптимизацию GPU и управление рабочим процессом агента через «харнесс». В сравнении с базовой конфигурацией открытого кодинг-агента Cline на том же GPU удалось сократить время работы до 47%, а число выходных токенов — до 60%. Для разработчиков это означает меньше лишних вызовов модели, повторных проверок и затрат при выполнении задач, хотя в тесте на исправление ошибок ПО точность снизилась с 65,7% до 62,0%.
Компания Nota, которая занимается эффективностью AI-инференса, 18 ноября представила технологию «полностековой оптимизации» для AI-агентов. Она охватывает не только облегчение моделей и оптимизацию GPU, но и управление рабочим процессом агента. Обычный агент при обработке запроса многократно вызывает модель, использует инструменты и проверяет результаты. Если он слишком долго рассуждает или повторяет уже пройденные проверки, растут задержка и вычислительная нагрузка. Nota управляет этим через оптимизацию «харнесса» — обвязки, которая решает, сколько рассуждений и проверок нужно в конкретный момент. Система анализирует длину ответа, историю изменений файлов и результаты выполнения инструментов. По этим сигналам она выбирает подходящую интенсивность рассуждений и старается не повторять шаги, которые уже были успешно проверены. За счёт этого вычислительные ресурсы направляются на этапы, где они действительно нужны. Дополнительно используются «спекулятивное декодирование на базе DFlash2» и оптимизация GPU-ядер под конкретное оборудование. Nota сравнила подход с базовой конфигурацией открытого кодинг-агента Cline в одинаковом окружении модели и GPU. По данным компании, время выполнения работы сократилось до 47%, а объём выходных токенов — до 60%. В режиме Fast интенсивность рассуждений подстраивается под ситуацию: время сокращается до 32%, выходные токены — до 42%, при сохранении или росте доли решённых задач. В режиме Ultra Fast, который дополнительно уменьшает повторные проверки, экономия достигает 47% по времени и 60% по токенам. Однако в оценке исправления ошибок в ПО доля решённых задач снизилась с 65,7% до 62,0%. Тесты проводились на четырёх GPU NVIDIA RTX PRO 6000 с кодинг-бенчмарками Terminal-Bench 2.1 и SWE-bench Multilingual. Для разработчика практический смысл не только в ускорении отдельного ответа модели, а в сокращении полного цикла выполнения задачи агентом: меньше лишних обращений к модели, повторных действий и нагрузки на оборудование. Это может быть важно там, где coding-агент запускается много раз или работает с большими проектами. Падение точности в одном из тестов показывает, что агрессивная экономия вычислений может требовать компромисса между скоростью и надёжностью. Nota планирует начать с кодинг-агентов, а затем расширить подход на корпоративных AI-агентов и сервисы генеративного AI. Компания связывает разработку с лицензированием оптимизационного ПО и поставкой технологий. CTO Nota Ким Тхэ Хо отмечает, что при реальном использовании AI-агентов важнее не простая скорость инференса, а время до завершения задачи и стоимость вычислений. По его словам, компания хочет снижать расходы клиентов на эксплуатацию AI и расширять направление оптимизационного ПО.