Миллион токенов без видеокарты: да, но ждать 13 часов

Что в ролике
Чтобы проверить, потянет ли обычный компьютер модель Spark X 2,5 4B с заявленным миллионом токенов контекста, автор собирает данные из карточки модели и тестов двух пользователей на машинах без видеокарты. Сама модель запускается на процессоре: 8-ядерный сервер с 16 ГБ общей памяти печатал около 6 токенов в секунду, а 18-ядерный ARM-компьютер — около 47, при этом чтение коротких промптов разгонялось от 30 до 254 токенов в секунду. Память не главная проблема: по расчётам автора кэш на миллион токенов занимает около 39 ГБ, плюс 2,6 ГБ весит 4-битная модель, так что десктоп с 64 ГБ ОЗУ вмещает документ целиком. Такая экономия работает, потому что 27 из 36 слоёв держат кэш только для последних 512 токенов, а полную историю хранят лишь девять слоёв. Проблема — ожидание: по арифметике автора быстрая ARM-машина читала бы миллион токенов около 13 часов, а 8-ядерный Xeon с четырьмя потоками — около четырёх дней, так как перекрёстные сравнения в полных слоях растут нелинейно. На практике ответы проверены только до 100 000 токенов: в бенчмарке Artificial Analysis модель набрала 56,3 балла против 57 у Qwen 3,5 4B, но выше этой отметки независимых тестов нет. К тому же режим рассуждений может съесть весь лимит: на 8-ядерном сервере модель потратила 800 токенов на внутренние мысли и не выдала код, а в другом тесте после отключения режима решила задачу за 549 токенов.
Практика
- Что получишь
- Понимание, сколько памяти и времени нужно для запуска Spark X 2,5 4B на процессоре, и какие ограничения уберут разочарование: модель лучше использовать с усечённым контекстом и выключенным режимом рассуждений.
- Первый шаг
- Скачать 2,6 ГБ 4-битную версию модели из официального аккаунта Spark LLM на Ollama или обновить llama.cpp до версии с поддержкой, а затем вручную ограничить контекст десятками тысяч токенов.
- Цифры
- —13 часов — расчётное время чтения миллиона токенов на 18-ядерном ARM-компьютере
- —4 дня — расчётное ожидание на 8-ядерном Xeon с четырьмя потоками
- —41 ГБ — расчётный объём памяти для кэша миллиона токенов вместе с моделью 2,6 ГБ
- —56,3 балла — результат Spark в бенчмарке Artificial Analysis на длине около 100 000 токенов
- Честно
- Автор канала просит подписаться и поставить лайк, но продукт не продаёт. Все расчёты времени для длинных промптов — это арифметика на основе коротких замеров, а не стоп-тест, и независимых доказательств качества выше 100 000 токенов нет; кроме того, результат 56,3 балла в бенчмарке заявлен самим производителем.
Если слова незнакомы — 6 терминов
- токенслово или часть слова, которую модель читает или генерирует за один шаг
- контекстное окносколько текста модель может удерживать в памяти одновременно
- KV-кэшзаписи для каждого токена, которые модель перечитывает при обработке следующих
- 4-битная модельсжатая версия модели, занимающая 2,6 ГБ вместо полных 8,2 ГБ
- промпттекст или задание, которое вы подаёте модели
- бенчмаркстандартизированный тест для сравнения качества моделей
Компоненты
4 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник