К содержимому
Дайджест

Strata: быстрый локальный запуск 125B-моделей

Kai·2 октября 2026·17:29
текст даёт основное понять, как устроено
Открыть на YouTube
Разбор проекта Strata для тех, кто хочет запускать большие локальные модели на обычном ПК и понимать реальные цифры ускорения.

Что в ролике

Если вы уже пробовали запускать большие модели локально и упирались в скорость, Strata решает именно эту задачу: она запускает 125-миллиардную модель Qwen на 12 ГБ видеопамяти, используя SSD и системную память. Модель построена как смесь экспертов: на каждый токен из 24 576 экспертов активируются только около 480, а таблица из 51 миллиарда параметров подгружается с диска по 16 строк за токен, что даёт примерно 4 ГБ данных на токен из 66 ГБ файла. Ядро Strata — кэш экспертов: GPU держит около 4 500 самых частых экспертов, а CPU параллельно считает остальные, и со временем попадание кэша растёт с 50% до 72%. Дополнительно модель предсказывает до трёх токенов за проход с помощью чернового слоя, что увеличивает скорость с 47–57 до 82–92 токенов в секунду без изменения вывода. Заявленный прирост 6× получается сравнением старого запуска 3-битной сборки через Llama CPP (15 токенов в секунду) с новым 2-битным Strata (93 токена в секунду), но честное сравнение 3-бит к 3-бит даёт 2–2,5x. Для комфортной работы нужны 64 ГБ оперативной памяти DDR5 и видеокарта от 12 ГБ, при этом DDR4 и слабая пропускная способность памяти станут узким местом. Качество тоже зависит от квантования: 2-битная сборка теряет около 6 баллов на LiveCodeBench, а 3-битная почти не уступает полной модели, поэтому для кода берут 3-бит, для чата — 2-бит. Перед покупкой оперативки стоит посчитать стоимость: 64 ГБ DDR5 подорожали до 913 долларов, тогда как API модели стоит 0,47 доллара за миллион выходных токенов.

Практика

Что получишь
Поймёте, как Strata ускоряет локальный запуск 125-миллиардных моделей, какие цифры реальны и на каком железе стоит пробовать.
Первый шаг
Если у вас уже есть ПК с 64 ГБ DDR5 и видеокартой NVIDIA от 12 ГБ, скачайте Strata и выберите 3-битную сборку для кода или 2-битную для чата.
Цифры
  • —93 токена в секунду — скорость Strata на 2-битной сборке с RTX 5070 12 ГБ
  • —6× — заявленный прирост по сравнению со старым запуском 15 токенов в секунду, но честное 3-бит к 3-бит — 2–2,5x
  • —66 ГБ — размер 2-битной сборки модели, из которого на токен читается около 4 ГБ
  • —913 долларов — цена 64 ГБ DDR5 на конец сентября, при том что API модели стоит 0,47 доллара за миллион выходных токенов
Честно
Автор в конце просит поставить лайк и подписаться, но платных продуктов или ссылок в ролике нет. Часть цифр (профили кэша, замеры скорости, интерфейс) видна только на экране, поэтому для точного воспроизведения стоит смотреть видео. Автор также отмечает, что Llama CPP уже догоняет: 1 октября влили multi-token prediction, а кэш экспертов пока открытый PR, так что разрыв может сократиться.
Если слова незнакомы — 4 терминов

Связки из этого ролика

3 шт.

Компоненты

4 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник