К содержимому
Дайджест

Миллион токенов без видеокарты: да, но ждать 13 часов

The Stack·5 октября 2026·14:49
текст даёт основное понять, как устроено пошагово
Открыть на YouTube
Разбор для тех, кто хочет запустить модель Spark X 2,5 4B с миллионным контекстом на обычном процессоре без видеокарты и понять, где проходят реальные границы.

Что в ролике

Чтобы проверить, потянет ли обычный компьютер модель Spark X 2,5 4B с заявленным миллионом токенов контекста, автор собирает данные из карточки модели и тестов двух пользователей на машинах без видеокарты. Сама модель запускается на процессоре: 8-ядерный сервер с 16 ГБ общей памяти печатал около 6 токенов в секунду, а 18-ядерный ARM-компьютер — около 47, при этом чтение коротких промптов разгонялось от 30 до 254 токенов в секунду. Память не главная проблема: по расчётам автора кэш на миллион токенов занимает около 39 ГБ, плюс 2,6 ГБ весит 4-битная модель, так что десктоп с 64 ГБ ОЗУ вмещает документ целиком. Такая экономия работает, потому что 27 из 36 слоёв держат кэш только для последних 512 токенов, а полную историю хранят лишь девять слоёв. Проблема — ожидание: по арифметике автора быстрая ARM-машина читала бы миллион токенов около 13 часов, а 8-ядерный Xeon с четырьмя потоками — около четырёх дней, так как перекрёстные сравнения в полных слоях растут нелинейно. На практике ответы проверены только до 100 000 токенов: в бенчмарке Artificial Analysis модель набрала 56,3 балла против 57 у Qwen 3,5 4B, но выше этой отметки независимых тестов нет. К тому же режим рассуждений может съесть весь лимит: на 8-ядерном сервере модель потратила 800 токенов на внутренние мысли и не выдала код, а в другом тесте после отключения режима решила задачу за 549 токенов.

Практика

Что получишь
Понимание, сколько памяти и времени нужно для запуска Spark X 2,5 4B на процессоре, и какие ограничения уберут разочарование: модель лучше использовать с усечённым контекстом и выключенным режимом рассуждений.
Первый шаг
Скачать 2,6 ГБ 4-битную версию модели из официального аккаунта Spark LLM на Ollama или обновить llama.cpp до версии с поддержкой, а затем вручную ограничить контекст десятками тысяч токенов.
Цифры
  • —13 часов — расчётное время чтения миллиона токенов на 18-ядерном ARM-компьютере
  • —4 дня — расчётное ожидание на 8-ядерном Xeon с четырьмя потоками
  • —41 ГБ — расчётный объём памяти для кэша миллиона токенов вместе с моделью 2,6 ГБ
  • —56,3 балла — результат Spark в бенчмарке Artificial Analysis на длине около 100 000 токенов
Честно
Автор канала просит подписаться и поставить лайк, но продукт не продаёт. Все расчёты времени для длинных промптов — это арифметика на основе коротких замеров, а не стоп-тест, и независимых доказательств качества выше 100 000 токенов нет; кроме того, результат 56,3 балла в бенчмарке заявлен самим производителем.
Если слова незнакомы — 6 терминов

Компоненты

4 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник