К содержимому
Дайджест

Как ускорить AI-агентов кэшем без апгрейда GPU

Alex Ziskind·13 октября 2026·15:47
можно прочитать выбрать инструмент
Открыть на YouTube
Технический разбор ускорения кодинг-агентов через кэш контекста в vLLM, для тех, кто запускает их на собственном железе.

Что в ролике

Проблема знакома каждому, кто гоняет кодинг-агентов: каждый ход агент перечитывает всю историю, и к 25-му ходу на RTX Pro 6000 ответ начинается только через 19 секунд. Автор объясняет, что модель при чтении промпта сохраняет заметки — KV-кэш, а vLLM умеет переиспользовать их через prefix cache по умолчанию. На DGX Station GB300 с Qwen3 235B и документом на 32 000 токенов повторный вопрос без кэша занял 1,35 секунды, а с кэшем — 112–122 миллисекунды. При 48 документах 1,5 млн токенов GPU-кэш vLLM заполнился и дал 0% попаданий, а CPU offload и LM Cache дали 99,9% и 140–164 мс. Отдельный сервер LM Cache сохранил кэш после перезапуска vLLM — ответ за 141 мс против 1,35 секунды у встроенного кэша, но рестарт может быть медленнее из-за удержания видеопамяти. В тесте 8 кодинг-агентов на RTX Pro 6000 кэш поднял темп с 8 до почти 60 ответов в минуту, а на поздних ходах ожидание упало с 42 секунд до 2 секунд. Итог: vLLM prefix cache стоит оставлять включённым, CPU offload достаточен, пока всё влезает в RAM, а LM Cache нужен при рестартах сервера и когда кэш не помещается в память. Из минусов LM Cache — лишние компоненты, более медленные рестарты и сложности с новыми моделями, а режим cache blend на момент съёмки не работал с vLLM.

Практика

Что получишь
Понять, когда хватает встроенного prefix cache в vLLM, когда включать CPU offload и когда оправдан отдельный сервер LM Cache, чтобы не тратить время на перечитывание контекста.
Первый шаг
Проверить в своей инсталляции vLLM, что prefix caching включён (он активен по умолчанию) и сравнить задержку повторного запроса с кэшем.
Цифры
  • —19 секунд — сколько ждал кодинг-агент на 25-м ходу, прежде чем написать первое слово
  • —112–122 мс против 1,35 секунды — время повторного ответа с кэшем и без на документе 32 000 токенов
  • —0% попаданий — результат встроенного GPU-кэша vLLM на 48 документах объёмом 1,5 млн токенов
  • —почти 60 ответов в минуту — темп 8 агентов с кэшем против 8 без кэша
Честно
В начале ролика — спонсорский сегмент Incogni (сервис удаления ваших данных у брокеров, код lexiscin даёт скидку 60% на год, есть гарантия 30 дней). Большинство цифр и графиков показываются на экране, а не проговариваются полностью, поэтому для повторения тестов придётся останавливать видео и снимать настройки. Режим cache blend в LM Cache не удалось протестировать из-за отсутствия поддержки vLLM на момент съёмки.
Если слова незнакомы — 6 терминов

Связки из этого ролика

1 шт.

Компоненты

3 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.88 · источник