К содержимому
Дайджест

Как LLM отвечает: инференс, prefill и decode

IBM Technology·22 октября 2026·7:46
можно прочитать понять, как устроено
Открыть на YouTube
Обучающий разбор внутренностей LLM-инференса для разработчиков и всех, кто хочет понять, что происходит между запросом и ответом модели.

Что в ролике

Если вы когда-нибудь ждали ответ от чат-бота, за этой задержкой стоит инференс — процесс прогона обученной модели через новый запрос, и в отличие от одноразового обучения он повторяется при каждом сообщении и со временем обходится дороже. Обученная модель — это просто набор весов, а превращает его в работающий сервис inference engine: vLLM, Ollama и llama.cpp принимают запросы через OpenAI-совместимый endpoint, планируют нагрузку и распределяют GPU. Входящий текст сначала токенизируется — разбивается на слова, части слов и знаки препинания и маппится в числовые ID, поэтому счёт идёт по токенам, а модель видит только поток ID. В дата-центре запрос аутентифицируется по API-ключу, маршрутизируется на подходящее железо и попадает в батчи, которые объединяют несколько запросов в один вычислительный блок, чтобы GPU не простаивали. Сам инференс делится на prefill и decode: prefill читает весь промпт и строит KV-кэш, а decode генерирует ответ по одному токену, на каждом шаге обращаясь к этому кэшу за контекстом. Prefill упирается в вычислительную мощность, а decode — в пропускную способность памяти, поэтому для оценки скорости используют TTFT (время до первого токена) и ITL (интервал между токенами). Вместе эти механизмы — токенизация, батчинг и две фазы — образуют конвейер, который позволяет статичной модели работать как живой продукт реального времени.

Практика

Что получишь
Понимание полного пути запроса от токенизации до генерации токена и знание, где возникают задержки и затраты, чтобы осознанно выбирать движок и метрики для оптимизации.
Первый шаг
Прогнать один и тот же промпт через локальный движок вроде llama.cpp или Ollama и замерить TTFT и ITL, чтобы увидеть фазы prefill и decode на своей машине.
Цифры
  • —сотни миллионов долларов — стоимость обучения frontier-модели, после которой начинается инференс
  • —2 фазы — prefill и decode составляют каждый запрос к LLM
  • —1 токен за шаг — скорость генерации ответа в decode, каждый следующий токен зависит от предыдущего
Честно
Ролик — корпоративный образовательный материал IBM Technology, рекламы или платных продуктов нет. Конкретных команд и настроек в видео не показывают: чтобы воспроизвести, нужно самостоятельно разобраться с API выбранного inference engine и инструментами мониторинга.
Если слова незнакомы — 11 терминов

Компоненты

3 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник