Как LLM отвечает: инференс, prefill и decode

Что в ролике
Если вы когда-нибудь ждали ответ от чат-бота, за этой задержкой стоит инференс — процесс прогона обученной модели через новый запрос, и в отличие от одноразового обучения он повторяется при каждом сообщении и со временем обходится дороже. Обученная модель — это просто набор весов, а превращает его в работающий сервис inference engine: vLLM, Ollama и llama.cpp принимают запросы через OpenAI-совместимый endpoint, планируют нагрузку и распределяют GPU. Входящий текст сначала токенизируется — разбивается на слова, части слов и знаки препинания и маппится в числовые ID, поэтому счёт идёт по токенам, а модель видит только поток ID. В дата-центре запрос аутентифицируется по API-ключу, маршрутизируется на подходящее железо и попадает в батчи, которые объединяют несколько запросов в один вычислительный блок, чтобы GPU не простаивали. Сам инференс делится на prefill и decode: prefill читает весь промпт и строит KV-кэш, а decode генерирует ответ по одному токену, на каждом шаге обращаясь к этому кэшу за контекстом. Prefill упирается в вычислительную мощность, а decode — в пропускную способность памяти, поэтому для оценки скорости используют TTFT (время до первого токена) и ITL (интервал между токенами). Вместе эти механизмы — токенизация, батчинг и две фазы — образуют конвейер, который позволяет статичной модели работать как живой продукт реального времени.
Практика
- Что получишь
- Понимание полного пути запроса от токенизации до генерации токена и знание, где возникают задержки и затраты, чтобы осознанно выбирать движок и метрики для оптимизации.
- Первый шаг
- Прогнать один и тот же промпт через локальный движок вроде llama.cpp или Ollama и замерить TTFT и ITL, чтобы увидеть фазы prefill и decode на своей машине.
- Цифры
- —сотни миллионов долларов — стоимость обучения frontier-модели, после которой начинается инференс
- —2 фазы — prefill и decode составляют каждый запрос к LLM
- —1 токен за шаг — скорость генерации ответа в decode, каждый следующий токен зависит от предыдущего
- Честно
- Ролик — корпоративный образовательный материал IBM Technology, рекламы или платных продуктов нет. Конкретных команд и настроек в видео не показывают: чтобы воспроизвести, нужно самостоятельно разобраться с API выбранного inference engine и инструментами мониторинга.
Если слова незнакомы — 11 терминов
- инференспрогон обученной модели на новых данных для получения ответа
- весачисловые параметры модели, в которых после обучения хранится знание
- inference engineпрограмма, которая обслуживает модель: принимает запросы, распределяет GPU и управляет батчами
- OpenAI-совместимый endpointстандартный формат API для запросов к разным LLM без изменения кода
- токенизацияразбиение текста на слова, части слов и знаки препинания с присвоением числовых ID
- батчобъединение нескольких запросов в один вычислительный блок для полной загрузки GPU
- KV-кэшпамять о прочитанном контексте, к которой модель обращается при генерации каждого токена
- prefillфаза, где модель читает весь промпт и строит KV-кэш
- decodeфаза, где модель генерирует ответ по одному токену
- TTFTвремя от отправки запроса до получения первого токена
- ITLвремя между получением соседних токенов ответа
Компоненты
3 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник