К содержимому
Дайджест

KVMM: миллион токенов агента на ноутбучной 24 ГБ GPU

Code Unpacked·29 сентября 2026·10:24
можно прочитать понять, как устроено
Открыть на YouTube
Разбор исследовательской системы KVMM для агентов на базе Qwen 27B, которая позволяет держать миллион токенов истории на локальной машине с 24 ГБ видеопамяти.

Что в ролике

Если у вас локальный агент работает часами и набирает историю, его память быстро упирается в VRAM, и авторы предлагают систему KVMM, которая разносит KV-кэш по уровням: GPU, системная RAM и NVMe-диск. В отличие от обычного сжатия истории в саммари, KVMM сохраняет уже вычисленные key-value состояния и возвращает их без повторного prefill, поэтому старые детали не теряются. Память делится на блоки по 32 токена, для каждого строится компактное представление mean K из ключевых векторов той же модели, и при новом шаге агента выбираются только релевантные блоки, а обновление происходит раз в шаг, потому что внимание внутри шага стабильно, а между шагами меняется в 37 раз сильнее. В тесте LongMem Eval S KVMM с активным бюджетом 32K набрал 85,6% при 86,6% у полного контекста, а время до ответа составило 0,48 секунды против 26+ секунд у связки сжатие плюс текстовый retrieval. На бенчмарке Agent Long Bench с миллионом токенов и активным окном 100K KVMM решил 50% задач, тогда как сжатие с retrieval дало 42%, простое сжатие 32%, а скользящее окно 20%. На ноутбуке с RTX 5090 24 ГБ, 32 ГБ RAM и 1 ТБ NVMe система держала 80K активного контекста, за которым лежало 1 млн токенов виртуальной памяти, что в 12,5 раза больше, и генерировала около 50 токенов в секунду. Есть и реализация в модифицированном llama cpp: на RTX 5060 Ti с 16 ГБ VRAM Qwen 27B получил рабочее пространство 256K, генерация 30-33 токена в секунду при пиковой VRAM 15,6 ГБ. В реальных задачах Deep SWE с Claude Code harness KVMM поднял долю успешных прогонов с 43,8% до 48,4%, решил 15 из 16 задач хотя бы раз, а среднее время prefill сократилось более чем вдвое.

Практика

Что получишь
Поймёте, как KVMM переносит KV-кэш между GPU, RAM и SSD и почему это выгоднее сжатия или текстового поиска, и сможете оценить, когда такая схема подходит для ваших долгих агентских задач.
Первый шаг
Начать стоит с чтения статьи KVMM и запуска модифицированного llama cpp сервера на своей машине, чтобы проверить 256K workspace на Qwen 27B.
Цифры
  • —1 млн токенов — такой виртуальный workspace держал Qwen 27B на ноутбуке с 24 ГБ GPU
  • —50 токенов в секунду — скорость генерации при этом
  • —0,48 секунды — задержка до ответа KVMM на LongMem Eval S против 26 секунд у сжатия с retrieval
  • —15 из 16 задач — столько реальных задач Deep SWE решил KVMM хотя бы раз, против 13 у обычного сжатия
Честно
Автор не продвигает свой продукт, но KVMM — свежая исследовательская система, а реализация в llama cpp экспериментальна и проверена на 256K, а не на миллионе токенов. Результат с миллионом токенов получен на дорогой ноутбучной RTX 5090 с 24 ГБ, на 16 ГБ показана только 256K-конфигурация. Для повторения не хватает точных параметров запуска и кода — их нужно брать из статьи и репозитория авторов.
Если слова незнакомы — 7 терминов

Компоненты

2 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.92 · источник