К содержимому
Дайджест

DeepSeek: секрет дешевизны — кэш, а не железо

Kai·24 октября 2026·20:00
можно прочитать понять, как устроено
Открыть на YouTube
Детальный разбор экономики DeepSeek и роли KV-кэша для разработчиков, которые платят за AI API и хотят видеть реальную стоимость, а не прайс-лист.

Что в ролике

Разбор недельного ажиотажа вокруг DeepSeek показывает, что мем про $38 за GPU-час и 80% маржу упускает главное — кэш. DeepSeek 17 октября выпустил V4.1 flash 1017 (MoE на 552 млрд параметров, активирует 16 млрд при записи и 8 млрд при чтении, контекст до 1 млн токенов, веса MIT), а 20 октября открыл движок инференса DeepInfer под Apache 2.0. Заявленные 155 трлн токенов в день при 26 300 токенах/с на GPU потребовали бы 68 000 GPU, что дало бы $22,7 млрд выручки, а реальный run rate около $1 млрд, то есть хватает примерно 3 000 GPU. Разгадка — KV-кэш: на 40-м шаге агентной сессии 79 000 из 80 000 входных токенов уже посчитаны, поэтому GPU загружает их с диска, а не пересчитывает. DeepSeek довёл долю попаданий в кэш с 56,3% в феврале 2025 года до 96%, уменьшил размер кэша до 890 байт на токен и хранит около 100 петабайт на SSD, что даёт 127 трлн токенов контекста. Из каждых 100 токенов 95 читаются из кэша, 4 считаются заново как вход и 1 пишется как выход, но именно этот 1 выходной токен приносит 41% выручки, а 95 кэш-токенов — только 19%. Открытый код неполон: в репозитории DeepInfer нет системы распределённого KV-кэша, сплита prefill/decode и балансировки, а сам движок поддерживает только офлайн-инференс, и vLLM уже повторил его бенчмарки.

Практика

Что получишь
Поймёте, почему одинаковые прайс-листы у провайдеров дают разный реальный счёт, и научитесь спрашивать про хранение кэша до выбора API.
Первый шаг
Посмотрите в ответе своего API долю cache hit среди входных токенов и пересчитайте реальную стоимость по счёту, а не по прайс-листу.
Цифры
  • —$38 за GPU-час — заявленная выручка на GPU из документации DeepInfer; при 96% кэша это в основном доход от чтения контекста с диска, а не от вычислений
  • —96% — доля входных токенов, попадающих в кэш у DeepSeek сейчас, против 56,3% в феврале 2025
  • —155 трлн токенов в день — объём обслуживаемого трафика по версии DeepSeek; для честного пересчёта с нуля нужно 68 000 GPU, а реальная выручка соответствует примерно 3 000 GPU
  • —7,6 раза — во столько раз отличается реальный счёт за 1 млн входных токенов при hit rate 96% против 56,3% (1,8 цента против 13,5 цента)
Честно
Автор не продвигает продукт и не даёт партнёрских ссылок, но ролик построен как разбор, а не пошаговое руководство — для повторения расчётов придётся открывать документацию DeepInfer и собственный биллинг. Часть цифр, включая 96%, 890 байт и 100 петабайт, взята из репозитория DeepSeek, а не из независимых замеров.
Если слова незнакомы — 5 терминов

Связки из этого ролика

5 шт.

Компоненты

11 шт.

Формат: разбор · для практикующих · уверенность разметки 0.92 · источник