DeepSeek: секрет дешевизны — кэш, а не железо

Что в ролике
Разбор недельного ажиотажа вокруг DeepSeek показывает, что мем про $38 за GPU-час и 80% маржу упускает главное — кэш. DeepSeek 17 октября выпустил V4.1 flash 1017 (MoE на 552 млрд параметров, активирует 16 млрд при записи и 8 млрд при чтении, контекст до 1 млн токенов, веса MIT), а 20 октября открыл движок инференса DeepInfer под Apache 2.0. Заявленные 155 трлн токенов в день при 26 300 токенах/с на GPU потребовали бы 68 000 GPU, что дало бы $22,7 млрд выручки, а реальный run rate около $1 млрд, то есть хватает примерно 3 000 GPU. Разгадка — KV-кэш: на 40-м шаге агентной сессии 79 000 из 80 000 входных токенов уже посчитаны, поэтому GPU загружает их с диска, а не пересчитывает. DeepSeek довёл долю попаданий в кэш с 56,3% в феврале 2025 года до 96%, уменьшил размер кэша до 890 байт на токен и хранит около 100 петабайт на SSD, что даёт 127 трлн токенов контекста. Из каждых 100 токенов 95 читаются из кэша, 4 считаются заново как вход и 1 пишется как выход, но именно этот 1 выходной токен приносит 41% выручки, а 95 кэш-токенов — только 19%. Открытый код неполон: в репозитории DeepInfer нет системы распределённого KV-кэша, сплита prefill/decode и балансировки, а сам движок поддерживает только офлайн-инференс, и vLLM уже повторил его бенчмарки.
Практика
- Что получишь
- Поймёте, почему одинаковые прайс-листы у провайдеров дают разный реальный счёт, и научитесь спрашивать про хранение кэша до выбора API.
- Первый шаг
- Посмотрите в ответе своего API долю cache hit среди входных токенов и пересчитайте реальную стоимость по счёту, а не по прайс-листу.
- Цифры
- —$38 за GPU-час — заявленная выручка на GPU из документации DeepInfer; при 96% кэша это в основном доход от чтения контекста с диска, а не от вычислений
- —96% — доля входных токенов, попадающих в кэш у DeepSeek сейчас, против 56,3% в феврале 2025
- —155 трлн токенов в день — объём обслуживаемого трафика по версии DeepSeek; для честного пересчёта с нуля нужно 68 000 GPU, а реальная выручка соответствует примерно 3 000 GPU
- —7,6 раза — во столько раз отличается реальный счёт за 1 млн входных токенов при hit rate 96% против 56,3% (1,8 цента против 13,5 цента)
- Честно
- Автор не продвигает продукт и не даёт партнёрских ссылок, но ролик построен как разбор, а не пошаговое руководство — для повторения расчётов придётся открывать документацию DeepInfer и собственный биллинг. Часть цифр, включая 96%, 890 байт и 100 петабайт, взята из репозитория DeepSeek, а не из независимых замеров.
Если слова незнакомы — 5 терминов
- MoEархитектура «смесь экспертов», где для каждого токена активируется только часть параметров, а не вся модель
- инференсвыполнение запросов к модели и генерация ответов
- KV-кэшсохранённые промежуточные вычисления для уже прочитанных токенов, чтобы не пересчитывать их заново
- prefill/decodeдве фазы инференса: prefill читает и обрабатывает весь контекст, decode генерирует новые токены по одному
- run rateпрогнозируемая годовая выручка на основе текущего темпа
Связки из этого ролика
5 шт.- Nvidia B300
- GB300
- Huawei Ascend 950
- KV cache
- 3FS
Компоненты
11 шт.Формат: разбор · для практикующих · уверенность разметки 0.92 · источник