Локальная SparkX-2.5-4B: сколько памяти ест контекст 1M

Что в ролике
Если вы смотрите на бесплатный локальный AI-кодер вместо облачного, SparkX-2.5-4B выглядит заманчиво: 4 миллиарда параметров, файл около 4 ГБ в 8-битном виде и заявленный контекст почти в миллион токенов. Автор раскладывает, как модель с таким малым размером держит длинный текст: из 36 слоёв 27 работают в скользящем окне на 512 токенов и забывают всё, что дальше, а полный контекст помнят только 9 глобальных слоёв. По расчётам из карточки модели, рабочие заметки (KV-кэш) на миллион токенов занимают около 39 ГБ, и вместе с моделью это около 43 ГБ, что не влезает в типичные 32 ГБ. На 128 000 токенов заметки занимают примерно 4,9 ГБ, плюс 4 ГБ файла — всего около 9 ГБ, поэтому запуск умещается на 16 ГБ машине. Практических тестов на полном миллионе нет, как отметил Orca Router в сравнении с Gemma 4 12B 1 сентября 2026 года, а неформальный тест на форуме LocalLlama показал надёжный поиск скрытой детали до 128 000 токенов и промахи дальше. Для обычных чатов и одиночных файлов автор рекомендует контекст около 32 000 токенов, для большого куска кодовой базы — 128 000, а миллион оставить для рабочей станции с памятью заметно больше 32 ГБ. Перед критичной работой на большом контексте автор советует самому спрятать факт в своих файлах и проверить, найдёт ли модель.
Практика
- Что получишь
- Сможете заранее рассчитать, влезет ли модель с нужным контекстом в вашу память, и выбрать безопасный размер контекста вместо слепой установки на максимум.
- Первый шаг
- Скачать 8-битную версию модели в Ollama, LM Studio или llama.cpp и запустить с контекстом 32 000 токенов, предварительно убедившись, что выбранная программа поддерживает SparkX-2.5.
- Цифры
- —4 ГБ — столько занимает файл модели в 8-битном виде, в Ollama по умолчанию идёт 8 ГБ
- —39 ГБ — столько памяти занимают рабочие заметки на контекст в миллион токенов, с моделью получается около 43 ГБ
- —4,9 ГБ — заметки на контекст 128 000 токенов, вместе с 4 ГБ моделью это около 9 ГБ
- —512 токенов — размер окна памяти у 27 из 36 слоёв модели
- Честно
- В конце автор просит подписаться на канал, других рекламных вставок нет. Расчёты памяти взяты из опубликованной архитектуры модели, а не из замеров, и для контекста больше 128 000 токенов есть только неформальный тест, поэтому полный миллион остаётся неподтверждённым. Конкретных команд запуска в ролике не показывают, так что поддержку модели в своём рантайме придётся проверять самостоятельно.
Если слова незнакомы — 4 терминов
- токеннебольшой кусок текста, например короткое слово, который модель обрабатывает как единицу
- KV-кэшрабочие заметки модели: ключи и значения для каждого обработанного токена, которые занимают память
- скользящее окнослой видит только последние 512 токенов и забывает всё, что было раньше
- контекстобъём текста, который модель может принять за один запрос
Компоненты
4 шт.Формат: разбор · для практикующих · уверенность разметки 0.9 · источник