К содержимому
Дайджест

Локальная SparkX-2.5-4B: сколько памяти ест контекст 1M

The Stack·26 сентября 2026·7:34
можно прочитать понять, как устроено
Открыть на YouTube
Разбор архитектуры и требований к памяти открытой локальной модели SparkX-2.5-4B для тех, кто выбирает между облачным и локальным AI-кодером.

Что в ролике

Если вы смотрите на бесплатный локальный AI-кодер вместо облачного, SparkX-2.5-4B выглядит заманчиво: 4 миллиарда параметров, файл около 4 ГБ в 8-битном виде и заявленный контекст почти в миллион токенов. Автор раскладывает, как модель с таким малым размером держит длинный текст: из 36 слоёв 27 работают в скользящем окне на 512 токенов и забывают всё, что дальше, а полный контекст помнят только 9 глобальных слоёв. По расчётам из карточки модели, рабочие заметки (KV-кэш) на миллион токенов занимают около 39 ГБ, и вместе с моделью это около 43 ГБ, что не влезает в типичные 32 ГБ. На 128 000 токенов заметки занимают примерно 4,9 ГБ, плюс 4 ГБ файла — всего около 9 ГБ, поэтому запуск умещается на 16 ГБ машине. Практических тестов на полном миллионе нет, как отметил Orca Router в сравнении с Gemma 4 12B 1 сентября 2026 года, а неформальный тест на форуме LocalLlama показал надёжный поиск скрытой детали до 128 000 токенов и промахи дальше. Для обычных чатов и одиночных файлов автор рекомендует контекст около 32 000 токенов, для большого куска кодовой базы — 128 000, а миллион оставить для рабочей станции с памятью заметно больше 32 ГБ. Перед критичной работой на большом контексте автор советует самому спрятать факт в своих файлах и проверить, найдёт ли модель.

Практика

Что получишь
Сможете заранее рассчитать, влезет ли модель с нужным контекстом в вашу память, и выбрать безопасный размер контекста вместо слепой установки на максимум.
Первый шаг
Скачать 8-битную версию модели в Ollama, LM Studio или llama.cpp и запустить с контекстом 32 000 токенов, предварительно убедившись, что выбранная программа поддерживает SparkX-2.5.
Цифры
  • —4 ГБ — столько занимает файл модели в 8-битном виде, в Ollama по умолчанию идёт 8 ГБ
  • —39 ГБ — столько памяти занимают рабочие заметки на контекст в миллион токенов, с моделью получается около 43 ГБ
  • —4,9 ГБ — заметки на контекст 128 000 токенов, вместе с 4 ГБ моделью это около 9 ГБ
  • —512 токенов — размер окна памяти у 27 из 36 слоёв модели
Честно
В конце автор просит подписаться на канал, других рекламных вставок нет. Расчёты памяти взяты из опубликованной архитектуры модели, а не из замеров, и для контекста больше 128 000 токенов есть только неформальный тест, поэтому полный миллион остаётся неподтверждённым. Конкретных команд запуска в ролике не показывают, так что поддержку модели в своём рантайме придётся проверять самостоятельно.
Если слова незнакомы — 4 терминов

Компоненты

4 шт.

Формат: разбор · для практикующих · уверенность разметки 0.9 · источник