Инференс-движок изнутри: prefill, decode и кэш

Что в ролике
Если вы гоняете модель через API и не заглядывали под капот, этот разбор объясняет, как устроен inference engine — движок, который принимает токены и возвращает новые. Чарльз Фрай разбирает архитектуру open-source движков SGLang и vLLM: серверный IO-процесс, токенизатор и детокенизатор, планировщик и один или несколько раннеров на GPU. Главная мысль: узким местом часто становится не сам GPU, а семантически однопоточный планировщик, который решает, какие батчи отправлять на ускоритель, и его сложно распараллелить из-за координации ресурсов. Внутри запрос делится на prefill — обработку входных токенов, и decode — пошаговую генерацию выходных, а по этим фазам разносятся метрики вроде time to first token и inter-token latency. Фрай выделяет три типа нагрузок: chatbot plus c жёсткими сотнями миллисекунд на ответ, фоновые агенты с высоким переиспользованием системных промптов и data-процессоры, где важен суммарный поток документов, а не отклик. Среди техник ускорения он называет KV cache с paged- или radix-структурами для переиспользования префиксов, CUDA graphs, убирающие CPU-оверхед запуска ядер, и speculative decoding, где черновая модель угадывает несколько токенов, а основная проверяет их параллельно — это даёт линейный прирост до 2–8 раз. Для эксплуатации важна наблюдаемость: логировать токен ID и метрики, гонять eval-скрипты по живому деплою, а при росте очередей добавлять реплики, как он показывает на дашборде Modal. В конце он советует изучать код на mini-SGLang и nano-vLLM и прямо упоминает новый продукт Modal endpoints и открытые вакансии.
Практика
- Что получишь
- Вы сможете осознанно выбирать и настраивать движок для своей нагрузки: понимать, где ждать бутылочное горлышко, чем отличаются prefill и decode, и какие оптимизации дают реальный прирост, а не только обещания.
- Первый шаг
- Начните с чтения кода mini-SGLang или nano-vLLM — это упрощённые реализации архитектуры, которые помещаются в контекст агента и разбираются за вечер.
- Цифры
- —1000 токенов в секунду — реалистичная цель decode-скорости на Nvidia-железе при использовании speculative decoding для довольно крупных моделей
- —2–8 раз — во столько может ускориться decode при улучшении качества модели-угадывателя в speculative decoding
- —20 млрд параметров — ориентир, выше которого токенизатор обычно не становится узким местом
- —100 ГБ–1 ТБ данных — столько весов может загружаться на каждый генерируемый токен в decode, поэтому важна высокая пропускная способность памяти
- Честно
- В конце доклада Чарльз Фрай продвигает новый продукт Modal endpoints и вакансии в Modal, а примеры дашборда и трассировок показаны на платформе Modal. Это не практический туториал: конкретных команд и настроек в речи нет, все схемы и графики видны только на экране. Для воспроизведения оптимизаций нужно самостоятельно изучить код движков и прогнать бенчмарки.
Если слова незнакомы — 6 терминов
- inference engineдвижок инференса — программа, которая обслуживает запросы к модели и выдаёт токены
- prefillфаза обработки входных токенов перед генерацией
- decodeфаза пошаговой генерации выходных токенов
- KV cacheкэш промежуточных вычислений внимания, который позволяет переиспользовать одинаковые префиксы запросов
- CUDA graphsспособ объединить запуск множества GPU-ядер в один граф, чтобы снизить CPU-оверхед
- speculative decodingметод ускорения, где черновая модель предлагает несколько токенов, а основная проверяет их параллельно
Связки из этого ролика
3 шт.- SGLang + FlashAttention + CUDA
- vLLM + Marlin + bitsandbytes
- Modal + SGLang
Компоненты
15 шт.Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник