К содержимому
Дайджест

Локальный Strata: 125B-модель обгоняет облако в 5 раз

Better Stack·10 октября 2026·8:57
нужен экран понять, как устроено
Открыть на YouTube
Технический разбор открытого проекта Strata, который запускает 125-миллиардную модель на домашнем ПК, и замеры скорости против облачного прогона для тех, у кого есть мощная видеокарта и желание гонять большие модели локально.

Что в ролике

125-миллиардная модель Qwen 3.8 Flash Next запускается на домашнем ПК автора через открытый проект Strata и выдаёт больше 250 токенов в секунду, тогда как облачная версия через OpenRouter — около 60. Strata обходит нехватку 32 ГБ видеопамяти на RTX 5090 тем, что распределяет модель между GPU, CPU, оперативной памятью и SSD: общие слои занимают 3,5 ГБ на видеокарте, 24 576 экспертов лежат в RAM, а 29-гигабайтная таблица поиска остаётся на диске. Модель построена как смесь экспертов — на каждом слое 512 блоков, из которых для токена активны только 10, то есть около 6 миллиардов параметров из 125 работают одновременно. Дополнительно включено спекулятивное декодирование с маленькой моделью-помощником, и большая модель соглашается с её догадками в 79% случаев, что ускоряет генерацию в 1,6–1,8 раза. В замерах автора задача на Python заняла у Strata 4 секунды против 19 в облаке, описание тостера — 3 секунды против 10, а логическая загадка дала почти ничью 1,4 против 1,5. В длинном тесте на руководство по домашнему серверу Strata записала 8 000 токенов за 33 секунды, а облачная модель три минуты «думала» и не выдала ни слова, после отключения размышлений счёт стал 6,6 секунды против 37. Установка сводится к одному скрипту, который скачивает около 70 ГБ и открывает чат в браузере, но для запуска нужно минимум 12 ГБ видеопамяти, 32 ГБ RAM и 80 ГБ на диске.

Практика

Что получишь
Понять, как открытый проект Strata запускает 125B-модель на одной машине и какие характеристики ПК для этого нужны, а также увидеть реальные замеры в 3–5 раз быстрее облачных ответов.
Первый шаг
Скачать Strata с GitHub и запустить установочный скрипт, выбрав модель Qwen 3.8 Flash Next и самую маленькую 2-битную версию.
Цифры
  • —250 токенов в секунду — скорость локального Strata на RTX 5090 против 60 у облака
  • —6,6 секунды против 33 секунд — время ответа на одинаковый промпт у локальной модели и облака
  • —9 000 токенов — лимит ответа в длинном тесте, где облачная модель потратила всё на размышления и не написала ни слова
  • —80 ГБ — столько свободного места на диске нужно для установки, плюс 12 ГБ VRAM и 32 ГБ RAM
Честно
В конце автор просит поставить лайк и подписаться на канал Better Stack, но сам Strata бесплатный и с открытым кодом. Для повторения нужен мощный ПК: минимум 12 ГБ VRAM, 32 ГБ RAM и 80 ГБ свободного места, при первом запуске машина может зависнуть на пару минут, а во время работы заняты почти все 32 ГБ видеопамяти и ещё 39 ГБ обычной. Сравнение скорости не полностью честное: локально запущена 2-битная квантованная версия, облачный провайдер, вероятно, использует более крупную и делит железо между пользователями, а точные команды и окно чата видны только на экране.
Если слова незнакомы — 4 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 4:24.

Связки из этого ролика

2 шт.

Компоненты

3 шт.

Цитаты-доказательства

дословно из субтитров

Формат: разбор · для практикующих · уверенность разметки 0.75 · источник