Strata: быстрый локальный запуск 125B-моделей

Что в ролике
Если вы уже пробовали запускать большие модели локально и упирались в скорость, Strata решает именно эту задачу: она запускает 125-миллиардную модель Qwen на 12 ГБ видеопамяти, используя SSD и системную память. Модель построена как смесь экспертов: на каждый токен из 24 576 экспертов активируются только около 480, а таблица из 51 миллиарда параметров подгружается с диска по 16 строк за токен, что даёт примерно 4 ГБ данных на токен из 66 ГБ файла. Ядро Strata — кэш экспертов: GPU держит около 4 500 самых частых экспертов, а CPU параллельно считает остальные, и со временем попадание кэша растёт с 50% до 72%. Дополнительно модель предсказывает до трёх токенов за проход с помощью чернового слоя, что увеличивает скорость с 47–57 до 82–92 токенов в секунду без изменения вывода. Заявленный прирост 6× получается сравнением старого запуска 3-битной сборки через Llama CPP (15 токенов в секунду) с новым 2-битным Strata (93 токена в секунду), но честное сравнение 3-бит к 3-бит даёт 2–2,5x. Для комфортной работы нужны 64 ГБ оперативной памяти DDR5 и видеокарта от 12 ГБ, при этом DDR4 и слабая пропускная способность памяти станут узким местом. Качество тоже зависит от квантования: 2-битная сборка теряет около 6 баллов на LiveCodeBench, а 3-битная почти не уступает полной модели, поэтому для кода берут 3-бит, для чата — 2-бит. Перед покупкой оперативки стоит посчитать стоимость: 64 ГБ DDR5 подорожали до 913 долларов, тогда как API модели стоит 0,47 доллара за миллион выходных токенов.
Практика
- Что получишь
- Поймёте, как Strata ускоряет локальный запуск 125-миллиардных моделей, какие цифры реальны и на каком железе стоит пробовать.
- Первый шаг
- Если у вас уже есть ПК с 64 ГБ DDR5 и видеокартой NVIDIA от 12 ГБ, скачайте Strata и выберите 3-битную сборку для кода или 2-битную для чата.
- Цифры
- —93 токена в секунду — скорость Strata на 2-битной сборке с RTX 5070 12 ГБ
- —6× — заявленный прирост по сравнению со старым запуском 15 токенов в секунду, но честное 3-бит к 3-бит — 2–2,5x
- —66 ГБ — размер 2-битной сборки модели, из которого на токен читается около 4 ГБ
- —913 долларов — цена 64 ГБ DDR5 на конец сентября, при том что API модели стоит 0,47 доллара за миллион выходных токенов
- Честно
- Автор в конце просит поставить лайк и подписаться, но платных продуктов или ссылок в ролике нет. Часть цифр (профили кэша, замеры скорости, интерфейс) видна только на экране, поэтому для точного воспроизведения стоит смотреть видео. Автор также отмечает, что Llama CPP уже догоняет: 1 октября влили multi-token prediction, а кэш экспертов пока открытый PR, так что разрыв может сократиться.
Если слова незнакомы — 4 терминов
- смесь экспертовархитектура модели, где на каждый запрос активируются лишь небольшие специализированные блоки, а не вся сеть
- токенединица текста, примерно слово или часть слова, которую модель генерирует за один шаг
- квантованиесжатие весов модели для уменьшения размера файла с потерей точности
- кэш экспертовчасть памяти GPU, где хранятся самые часто используемые блоки модели, чтобы меньше читать с диска
Связки из этого ролика
3 шт.- Qwen 3.8 8 flash next + Strata
- Llama CPP + multi-token prediction
- GPU + CPU parallel inference
Компоненты
4 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник