К содержимому
Дайджест

Ускорение локального AI через управление KV-кэшем

Rob Braxman Tech Deep Dive·13 ноября 2026·17:56
можно прочитать понять, как устроено
Открыть на YouTube
Разбор техники prefix engineering для ускорения локальных моделей в продакшене, от автора, который использует её в публичном AI-боте.

Что в ролике

Если вы мучаетесь с медленным локальным AI в агентных задачах, автор объясняет, что главная потеря времени — не генерация ответа, а чтение контекста: при 40K токенов и 300 токенах в секунду на prefill один запрос занимает больше двух минут только на ввод, а десяток ходов агента растягивается на полчаса. Чтобы решить это, он разбирает работу KV-кэша: при первом проходе контекста веса загружаются один раз, результат сохраняется в кэше, и повторное чтение уже вычисленного префикса занимает миллисекунды вместо 300 токенов в секунду. Главное — выстроить контекст по степени изменчивости: фиксированные инструкции сверху, изменяемые память и историю вниз, чтобы граница кэша проходила как можно позже и не сбрасывала весь префикс. Если снизить изменяемую часть до 5K токенов, чтение запроса ужимается до 16 секунд вместо двух минут. В своём публичном боте автор разделил задачи на две модели: Qwen 3.6 83B как быстрый классификатор угроз (до 1365 токенов в секунду prefill) и Qwen 3.8 27B для основного ответа (около 270 prefill и 20 decode), чтобы каждая держала свой стабильный KV-кэш. Дополнительно он отключил память у агента, оставив только RAG-поиск, и рекомендует индексировать большие кодовые базы через эмбеддинги. В результате ответы публичного бота приходят примерно за две минуты при скорости генерации всего 20 токенов в секунду, что он считает достаточным для продакшена и повторяемым для любой компании.

Практика

Что получишь
Понять, почему локальные агенты медленные, и научиться ускорять их через организацию контекста и разделение моделей по задачам.
Первый шаг
Проверьте, где у вашего агента проходит граница KV-кэша, и переставьте изменяемые блоки памяти и истории вниз.
Цифры
  • —300 токенов в секунду — скорость prefill, при которой 40K контекста читается больше двух минут
  • —5K токенов — изменяемая часть контекста, при которой чтение занимает 16 секунд вместо двух минут
  • —1365 токенов в секунду — максимальная скорость prefill классификатора Qwen 3.6 83B
  • —20 токенов в секунду — скорость decode основной модели Qwen 3.8 27B, ответы приходят примерно за две минуты
Честно
Ролик не содержит прямой рекламы или партнёрских ссылок, но автор использует свой публичный бот как пример и продвигает идею локального AI вместо облачных сервисов. Конкретных команд или пошаговых настроек в видео нет, только концепция, поэтому повторить придётся самостоятельно. Названия моделей прозвучали как Qwen 3.6 83B и Qwen 3.8 27B, что не совпадает с официальными именами Qwen, так что стоит уточнять версии перед повторением.
Если слова незнакомы — 5 терминов

Компоненты

4 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник