К содержимому
Дайджест

Спикулятивное декодирование: когда оно ускоряет vLLM

AI Engineer·6 октября 2026·15:17
текст даёт основное понять, как устроено промо
Открыть на YouTube
Доклад с AI-митапа о том, как спекулятивное декодирование работает в vLLM, как выбрать draft-модель и при каких нагрузках оно даёт выигрыш.

Что в ролике

Если вы запускаете большую LLM в vLLM, то токены генерируются по одному, и это упирается в задержку. Спикулятивное декодирование добавляет вторую, маленькую модель-черновик, которая предлагает по 3–5 токенов за цикл, а основная модель проверяет их одним проходом, принимая или отбрасывая. Для такой схемы нужна свободная VRAM: в демо на одном Blackwell GPU основная модель занимает 16 ГБ весов, черновик — 2,5 ГБ, и остаётся место под KV-кэш обоих. Автор показывает два кейса: на структурированной выдаче спекуляция даёт ускорение в 1,6 раза и высокий acceptance rate, а на креативной задаче с высокой температурой acceptance rate низкий, потому что следующие токены менее предсказуемы. Выигрыш касается только фазы генерации, а не чтения длинного промпта, поэтому RAG с большим контекстом почти не ускорится. Черновик должен быть в 10–50 раз меньше основной модели, иметь тот же токенизатор и, в идеале, быть из того же семейства. Для начала советуют vLLM и его документацию, а более продвинутые варианты — Medusa и EAGLE.

Практика

Что получишь
Поймёте, когда включать спекулятивное декодирование и как оценить, даст ли оно ускорение: по типу задачи, свободной VRAM, длине контекста и конкурентности.
Первый шаг
Проверьте, есть ли свободная VRAM на GPU, и подберите черновик той же модели в 10–50 раз меньше с тем же токенизатором.
Цифры
  • —1,6 раза — ускорение генерации на структурированной выдаче в демо на Blackwell
  • —16 ГБ — вес основной модели, 2,5 ГБ — вес черновика, размещённых на одном GPU
  • —3–5 токенов — столько предлагает черновик за цикл до проверки основной моделью
  • —10–50 раз — во столько черновик должен быть меньше основной модели
Честно
Автор — сотрудник Akamai, и в конце доклада зовёт в GitHub и Discord компании, где лежат материалы для повторения. В демо были технические неполадки, серверы vLLM пришлось перезапустить, но затем оба сценария показали. Конкретные конфиги и метрики видны только на экране, вслух их не называют.
Если слова незнакомы — 7 терминов

Связки из этого ролика

1 шт.

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.8 · источник