Xiaomi и DeepSeek: миллион токенов пока не доказан

Что в ролике
Когда ИИ-агент запускает тесты и получает страницы логов, каждая порция текста раздувает KV-кэш, что делает длинные сессии медленными и дорогими, и DeepSeek прямо называет это главным узким местом. В сентябре Xiaomi и DeepSeek предложили архитектуры, где слои делятся заметками вместо дублирования, а модель V4.1 Flash уже доступна и требует примерно вчетверо меньше памяти на токен, чем V4 Flash. Внутри модели теперь только половина слоёв читает новый ввод, а остальные берут заметки у нижних этажей, плюс заметки сжимаются в 4-битные числа, что и даёт арифметическую экономию. Однако гарантированный поиск нужной строки на миллионе токенов не показан: тесты Xiaomi останавливаются на 256 000 токенов, а глубокий поиск у новой модели DeepSeek не проверен на такой длине. В тесте Ruler v2 на 256 000 токенов новый дизайн Xiaomi набрал 58,45 из 100 против 33 и 36 у старых, что лучше, но не идеально. Независимый тест Artificial Analysis на документах до 100 000 токенов даёт новой модели 84% при лучшем результате около 89, но это лишь десятая часть заявленного окна. Поэтому экономия на хранении уже в прайс-листе — около 890 байт на токен и 0,3 цента за миллион кэш-хитов, а вот миллионная память остаётся непроверенным обещанием.
Практика
- Что получишь
- Понять, какие новые архитектуры снижают стоимость длинных AI-сессий и почему заявленная память на миллион токенов пока не доказана, а также как безопасно держать критичные данные в длинном контексте.
- Первый шаг
- Запустить DeepSeek V4.1 Flash с включённым миллионным окном и проверить на своей длинной сессии, находит ли он нужные старые детали, при этом критичные требования продублировать ближе к концу промпта.
- Цифры
- —890 байт на токен — размер растущих заметок у DeepSeek V4.1 Flash, вчетверо меньше, чем у V4 Flash
- —0,3 цента — столько стоил миллион off-peak кэш-хитов у DeepSeek в конце сентября
- —256 000 токенов — на этой длине остановились тесты Xiaomi, хотя заявлен миллион
- —84% — точность DeepSeek V4.1 Flash в тесте Artificial Analysis на документах до 100 000 токенов при топ-результате около 89%
- Честно
- Автор просит подписаться на канал, но рекламы продуктов или партнёрских ссылок в ролике нет. Для повторения не нужны команды или материалы — это разбор исследований, а не туториал. Все цифры взяты из публичных статей и прайс-листа, но часть утверждений основана на устном пересказе, без прямых ссылок в самом видео.
Если слова незнакомы — 5 терминов
- KV-кэшзаметки слоёв о каждом токене, чтобы модель могла оглядываться назад
- токенкусок слова, числа или знака препинания, на которые модель делит текст
- кэш-хитповторное использование уже сохранённых заметок вместо чтения текста заново, что снижает стоимость
- слоиступени обработки в нейросети, через которые проходят токены
- промпттекст-задание, которое ты пишешь ассистенту
Компоненты
5 шт.Формат: разбор · для практикующих · уверенность разметки 0.88 · источник