CLM от Meta: агенты сами чистят свою память

Что в ролике
Долгие задачи AI-агентов ломаются из-за переполнения контекстного окна: модель не может стирать лишнее, а принудительное сжатие через таймер теряет детали и уверенно выдумывает факты — например, агент нашёл 12 кодов, хотя 11 не существовали. В статье Meta и Университета Вашингтона предложен Context Language Model (CLM): это не новая модель, а способ запуска существующих (Qwen, Claude, GPT), при котором харнесс копирует контекст в текстовый файл и даёт модели bash-инструмент редактировать его. Модель сама удаляет устаревшие записи, переписывает план и решает, что оставить, — в одном примере она переписала память 163 раза, удержав контекст ниже 8 000 токенов. Реальные результаты скромнее заголовков: точность на исследовательском бенчмарке выросла с 53,3% до 59,4%, а на 24-часовом задании шести агентов — с 2,6% до 4,4% улучшения, то есть разница 1,8 процентного пункта. Главный выигрыш — экономия вычислений: на Edgebench CLM использует на 59% меньше ресурсов при чуть более высоком счёте, а после обучения 9-миллиардная модель требует на 40% меньше вычислений на вопрос. Но каждый правка контекста ломает KV-кэш: время обработки растёт в 7,7 раза, на API некэшированные токены стоят в 12,5 раз дороже, а локальные инструменты вроде llama cpp и LM Studio не имеют патча для повторного использования кэша. Для повторения уже сейчас автор советует вести файл notes с ключевыми решениями и состоянием задачи, начинать новую сессию с его чтения при заполнении контекста и держать окно маленьким, чтобы модель не перечитывала гору лишнего.
Практика
- Что получишь
- Понимание, почему агенты врут при долгой работе и как метод CLM решает это через редактирование контекста самой моделью. Практичную замену уже сегодня: вести notes-файл и начинать новую сессию с него при заполнении окна.
- Первый шаг
- Создать файл notes и проинструктировать агента записывать туда ключевые решения, состояние задачи и что уже пробовали, а при заполнении контекста начинать новую сессию с чтения этого файла.
- Цифры
- —59,4% против 53,3% — точность CLM на бенчмарке глубокого исследования против обычного сжатия
- —59% меньше вычислений — экономия на Edgebench при чуть более высоком счёте
- —163 правки — столько раз модель переписала свою память в примере из статьи, удержав контекст ниже 8 000 токенов
- —7,7 раза — настолько дороже обычного хода обходится правка в начале контекста из-за сброса KV-кэша
- Честно
- Ролик не продаёт продукт, но в конце просит подписаться. Код из статьи лежит на GitHub Meta под некоммерческой лицензией, то есть использовать в продукте без договорённости нельзя. Для локального запуска через llama cpp, ollama или LM Studio метод пока медленнее из-за отсутствия патча для переиспользования кэша, поэтому предложенный автором обходной путь с notes-файлом — практичная альтернатива.
Если слова незнакомы — 5 терминов
- контекстное окнообъём текста, который модель видит одновременно и по которому принимает решения
- токенединица текста, в которой модель считает объём; примерно слово или часть слова
- KV-кэшсохранённые промежуточные вычисления модели, чтобы не пересчитывать неизменённую часть контекста
- APIинтерфейс для вызова модели по запросу с оплатой за токены
- харнесспрограммная обвязка вокруг модели, которая управляет контекстом и инструментами
Связки из этого ролика
2 шт.- vLLM + SGLang
- Llama.cpp + Ollama + LM Studio + MLX
Компоненты
10 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник