К содержимому
Дайджест

Почему ИИ-агенты тупят: узкое место не память, а чтение

Kai·1 октября 2026·14:26
можно прочитать понять, как устроено
Открыть на YouTube
Разбор двух свежих исследований DeepSeek и Xiaomi для тех, кто запускает локальные модели или агентов и хочет понять, почему они деградируют в длинных сессиях.

Что в ролике

Если агент в середине длинной сессии начинает повторяться и противоречить себе, дело часто не в объёме памяти, а в том, сколько модель вынуждена перечитывать заново. DeepSeek в модели V4.1 Flash и Xiaomi в архитектуре HighSparse 2 независимо пришли к одному решению: разрезать трансформер пополам, чтобы нижние слои читали входящий текст и писали общие заметки, а верхние занимались только генерацией ответа. В DeepSeek из 40 слоёв нижние 20 читают промпт, верхние 20 пишут, поэтому на чтение токена активируются 8 млрд параметров, а на запись — 16 млрд, и хранение сжимается до 890 байт на токен. У Xiaomi 49 слоёв, промпт выходит после 25-го слоя, а чтение миллиона токенов требует в 5 раз меньше вычислений, чем в старой версии. В деньгах разница выглядит так: повторное чтение из кэша стоит около 0,003 доллара за миллион токенов, а обработка нового текста — 15 центов, то есть в 50 раз дороже. Практический замер из беты: в сессии на 11,59 млн токенов 99,5% пришлось на дешёвый кэш, но новые полпроцента всё равно съели почти пятую часть счёта. На локальной машине с 512 ГБ памяти чтение идёт около 450 токенов в секунду, поэтому контекст на 100 тысяч токенов обрабатывается почти 4 минуты до первого слова, а на миллион — 39 минут. Главная оговорка: ни одна из лабораторий пока не доказала, что после такого сплита модель так же хорошо помнит прочитанное, а пользователи DeepSeek жалуются на забывчивость после 400 тысяч токенов.

Практика

Что получишь
Понимание, почему агент деградирует в длинных сессиях, и на какой показатель смотреть вместо размера контекста — скорость чтения и время до первого токена.
Первый шаг
Замерить в своём API-счёте долю cache hits или время до первого токена на большом промпте, чтобы понять, упираетесь ли вы в чтение.
Цифры
  • —0,003 доллара за миллион токенов — столько стоит повторное чтение из кэша у DeepSeek, тогда как новый текст стоит 15 центов
  • —11,59 млн токенов — общий объём сессии в бете V4.1 Flash, где 99,5% пришлось на кэш
  • —450 токенов в секунду — скорость чтения V4.1 Flash на машине с 512 ГБ памяти, поэтому 100 тысяч токенов обрабатываются почти 4 минуты
  • —5 раз — во сколько меньше вычислений нужно HighSparse 2 для чтения миллиона токенов по сравнению со старой версией
Честно
В конце автор просит подписаться на канал и написать комментарий, это личный разбор без пошаговой инструкции. Видео не даёт готовых бенчмарков: DeepSeek не опубликовала стандартный тест recall, у Xiaomi показатель ниже 60%, а пользователи жалуются на забывчивость после 400 тысяч токенов.
Если слова незнакомы — 4 терминов

Компоненты

5 шт.

Формат: разбор · для практикующих · уверенность разметки 0.95 · источник