На arXiv вышла книга об агентных LLM: от основ обучения до инструментов и ассистентов

На arXiv выложен текст книги «Agentic Large Language Models», которую подготовили Max van Duijn, Michiel van der Meer, Aske Plaat и Niki van Stein. Это не исследовательская статья с единственным результатом, а учебный материал, организованный как курс: в начале идут разделы о том, для кого книга написана, какие нужны предварительные знания и как строить по ней занятия. Первая часть посвящена основам языкового моделирования — от токенизации и эмбеддингов до рекуррентных сетей, внимания и трансформеров, включая разделение на encoder-only модели вроде BERT и decoder-only вроде GPT. Дальше разбирается пайплайн обучения: сбор данных, претрейн, файнтюн, настройка на предпочтениях и инференс, а также бенчмарки и метрики. Отдельные главы касаются масштабирования: законы Каплана и Chinchilla, эмерджентные способности, малые языковые модели и способы удешевить претрейн и инференс, в том числе за счёт отбора данных и синтетических примеров, плюс вычисления на этапе инференса. Вторая часть — про рассуждения: in-context learning, цепочки рассуждений, многошаговые бенчмарки, самопроверку и генерацию кода для проверки гипотез, а также про память и состояние. Здесь же обсуждается, что модель без памяти — это функция, и какие подходы помогают: длинный контекст, retrieval-аугментация, оптимизация промптов поиском и обучение с проверяемыми наградами. Третья часть посвящена агентам: стилям взаимодействия от простого промпта до self-reflection и reinforcement finetuning, архитектурам памяти и обучению с подкреплением. Четвёртая — инструментам и ассистентам: вызовы API, пример на LangChain, компьютерные и браузерные инструменты, Model Context Protocol, обработка ошибок и безопасность, а также поиск и RAG, включая адаптивные методы, переписывание запросов и поиск по коду через AST и эмбеддинги. Самое практичное — три кейса. В первом предлагается собрать чат-бота с нуля на основе nanochat: прогреть хаб моделей, разобраться с токенизацией, провести претрейн, затем mid-training и supervised finetuning, закончить инференсом, деплоем и критической рефлексией. Во втором — собрать рассуждающего агента для головоломок и игр в духе BALROG: воспроизвести статью, прогнать разные модели и задачи, оценить вычислительные затраты и написать своего агента. Третий кейс — мультиагентная диагностика: обучить диагностические модели, запустить базовый вариант и заменить rule-based планировщик. Для джуна это готовый маршрут: теория привязана к конкретным шагам, которые можно повторить в коде.