К содержимому
Дайджест

Инференс-движок изнутри: prefill, decode и кэш

AI Engineer·6 октября 2026·59:59
можно прочитать понять, как устроено промо
Открыть на YouTube
Доклад Чарльза Фрая с AI Engineer для разработчиков, которые хотят понять, как устроены inference engine вроде SGLang и vLLM и за счёт чего они выдают токены быстро.

Что в ролике

Если вы гоняете модель через API и не заглядывали под капот, этот разбор объясняет, как устроен inference engine — движок, который принимает токены и возвращает новые. Чарльз Фрай разбирает архитектуру open-source движков SGLang и vLLM: серверный IO-процесс, токенизатор и детокенизатор, планировщик и один или несколько раннеров на GPU. Главная мысль: узким местом часто становится не сам GPU, а семантически однопоточный планировщик, который решает, какие батчи отправлять на ускоритель, и его сложно распараллелить из-за координации ресурсов. Внутри запрос делится на prefill — обработку входных токенов, и decode — пошаговую генерацию выходных, а по этим фазам разносятся метрики вроде time to first token и inter-token latency. Фрай выделяет три типа нагрузок: chatbot plus c жёсткими сотнями миллисекунд на ответ, фоновые агенты с высоким переиспользованием системных промптов и data-процессоры, где важен суммарный поток документов, а не отклик. Среди техник ускорения он называет KV cache с paged- или radix-структурами для переиспользования префиксов, CUDA graphs, убирающие CPU-оверхед запуска ядер, и speculative decoding, где черновая модель угадывает несколько токенов, а основная проверяет их параллельно — это даёт линейный прирост до 2–8 раз. Для эксплуатации важна наблюдаемость: логировать токен ID и метрики, гонять eval-скрипты по живому деплою, а при росте очередей добавлять реплики, как он показывает на дашборде Modal. В конце он советует изучать код на mini-SGLang и nano-vLLM и прямо упоминает новый продукт Modal endpoints и открытые вакансии.

Практика

Что получишь
Вы сможете осознанно выбирать и настраивать движок для своей нагрузки: понимать, где ждать бутылочное горлышко, чем отличаются prefill и decode, и какие оптимизации дают реальный прирост, а не только обещания.
Первый шаг
Начните с чтения кода mini-SGLang или nano-vLLM — это упрощённые реализации архитектуры, которые помещаются в контекст агента и разбираются за вечер.
Цифры
  • —1000 токенов в секунду — реалистичная цель decode-скорости на Nvidia-железе при использовании speculative decoding для довольно крупных моделей
  • —2–8 раз — во столько может ускориться decode при улучшении качества модели-угадывателя в speculative decoding
  • —20 млрд параметров — ориентир, выше которого токенизатор обычно не становится узким местом
  • —100 ГБ–1 ТБ данных — столько весов может загружаться на каждый генерируемый токен в decode, поэтому важна высокая пропускная способность памяти
Честно
В конце доклада Чарльз Фрай продвигает новый продукт Modal endpoints и вакансии в Modal, а примеры дашборда и трассировок показаны на платформе Modal. Это не практический туториал: конкретных команд и настроек в речи нет, все схемы и графики видны только на экране. Для воспроизведения оптимизаций нужно самостоятельно изучить код движков и прогнать бенчмарки.
Если слова незнакомы — 6 терминов

Связки из этого ролика

3 шт.

Компоненты

15 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.9 · источник