Как ускорить AI-агентов кэшем без апгрейда GPU

Что в ролике
Проблема знакома каждому, кто гоняет кодинг-агентов: каждый ход агент перечитывает всю историю, и к 25-му ходу на RTX Pro 6000 ответ начинается только через 19 секунд. Автор объясняет, что модель при чтении промпта сохраняет заметки — KV-кэш, а vLLM умеет переиспользовать их через prefix cache по умолчанию. На DGX Station GB300 с Qwen3 235B и документом на 32 000 токенов повторный вопрос без кэша занял 1,35 секунды, а с кэшем — 112–122 миллисекунды. При 48 документах 1,5 млн токенов GPU-кэш vLLM заполнился и дал 0% попаданий, а CPU offload и LM Cache дали 99,9% и 140–164 мс. Отдельный сервер LM Cache сохранил кэш после перезапуска vLLM — ответ за 141 мс против 1,35 секунды у встроенного кэша, но рестарт может быть медленнее из-за удержания видеопамяти. В тесте 8 кодинг-агентов на RTX Pro 6000 кэш поднял темп с 8 до почти 60 ответов в минуту, а на поздних ходах ожидание упало с 42 секунд до 2 секунд. Итог: vLLM prefix cache стоит оставлять включённым, CPU offload достаточен, пока всё влезает в RAM, а LM Cache нужен при рестартах сервера и когда кэш не помещается в память. Из минусов LM Cache — лишние компоненты, более медленные рестарты и сложности с новыми моделями, а режим cache blend на момент съёмки не работал с vLLM.
Практика
- Что получишь
- Понять, когда хватает встроенного prefix cache в vLLM, когда включать CPU offload и когда оправдан отдельный сервер LM Cache, чтобы не тратить время на перечитывание контекста.
- Первый шаг
- Проверить в своей инсталляции vLLM, что prefix caching включён (он активен по умолчанию) и сравнить задержку повторного запроса с кэшем.
- Цифры
- —19 секунд — сколько ждал кодинг-агент на 25-м ходу, прежде чем написать первое слово
- —112–122 мс против 1,35 секунды — время повторного ответа с кэшем и без на документе 32 000 токенов
- —0% попаданий — результат встроенного GPU-кэша vLLM на 48 документах объёмом 1,5 млн токенов
- —почти 60 ответов в минуту — темп 8 агентов с кэшем против 8 без кэша
- Честно
- В начале ролика — спонсорский сегмент Incogni (сервис удаления ваших данных у брокеров, код lexiscin даёт скидку 60% на год, есть гарантия 30 дней). Большинство цифр и графиков показываются на экране, а не проговариваются полностью, поэтому для повторения тестов придётся останавливать видео и снимать настройки. Режим cache blend в LM Cache не удалось протестировать из-за отсутствия поддержки vLLM на момент съёмки.
Если слова незнакомы — 6 терминов
- KV-кэшзаметки модели о прочитанном тексте, которые позволяют не перечитывать его заново
- vLLMопенсорсный сервер для запуска больших языковых моделей
- prefix cacheвстроенный в vLLM кэш, переиспользуемый при совпадении начала промпта
- CPU offloadперенос кэша из памяти GPU в обычную оперативную память компьютера
- LM Cacheотдельный кэш-сервер, который хранит заметки вне процесса vLLM
- токенминимальный кусочек текста, который модель читает за раз
Связки из этого ролика
1 шт.- vLLM + LMCache
Компоненты
3 шт.Формат: обзор · для продвинутых · уверенность разметки 0.88 · источник