Локальный Strata: 125B-модель обгоняет облако в 5 раз

Что в ролике
125-миллиардная модель Qwen 3.8 Flash Next запускается на домашнем ПК автора через открытый проект Strata и выдаёт больше 250 токенов в секунду, тогда как облачная версия через OpenRouter — около 60. Strata обходит нехватку 32 ГБ видеопамяти на RTX 5090 тем, что распределяет модель между GPU, CPU, оперативной памятью и SSD: общие слои занимают 3,5 ГБ на видеокарте, 24 576 экспертов лежат в RAM, а 29-гигабайтная таблица поиска остаётся на диске. Модель построена как смесь экспертов — на каждом слое 512 блоков, из которых для токена активны только 10, то есть около 6 миллиардов параметров из 125 работают одновременно. Дополнительно включено спекулятивное декодирование с маленькой моделью-помощником, и большая модель соглашается с её догадками в 79% случаев, что ускоряет генерацию в 1,6–1,8 раза. В замерах автора задача на Python заняла у Strata 4 секунды против 19 в облаке, описание тостера — 3 секунды против 10, а логическая загадка дала почти ничью 1,4 против 1,5. В длинном тесте на руководство по домашнему серверу Strata записала 8 000 токенов за 33 секунды, а облачная модель три минуты «думала» и не выдала ни слова, после отключения размышлений счёт стал 6,6 секунды против 37. Установка сводится к одному скрипту, который скачивает около 70 ГБ и открывает чат в браузере, но для запуска нужно минимум 12 ГБ видеопамяти, 32 ГБ RAM и 80 ГБ на диске.
Практика
- Что получишь
- Понять, как открытый проект Strata запускает 125B-модель на одной машине и какие характеристики ПК для этого нужны, а также увидеть реальные замеры в 3–5 раз быстрее облачных ответов.
- Первый шаг
- Скачать Strata с GitHub и запустить установочный скрипт, выбрав модель Qwen 3.8 Flash Next и самую маленькую 2-битную версию.
- Цифры
- —250 токенов в секунду — скорость локального Strata на RTX 5090 против 60 у облака
- —6,6 секунды против 33 секунд — время ответа на одинаковый промпт у локальной модели и облака
- —9 000 токенов — лимит ответа в длинном тесте, где облачная модель потратила всё на размышления и не написала ни слова
- —80 ГБ — столько свободного места на диске нужно для установки, плюс 12 ГБ VRAM и 32 ГБ RAM
- Честно
- В конце автор просит поставить лайк и подписаться на канал Better Stack, но сам Strata бесплатный и с открытым кодом. Для повторения нужен мощный ПК: минимум 12 ГБ VRAM, 32 ГБ RAM и 80 ГБ свободного места, при первом запуске машина может зависнуть на пару минут, а во время работы заняты почти все 32 ГБ видеопамяти и ещё 39 ГБ обычной. Сравнение скорости не полностью честное: локально запущена 2-битная квантованная версия, облачный провайдер, вероятно, использует более крупную и делит железо между пользователями, а точные команды и окно чата видны только на экране.
Если слова незнакомы — 4 терминов
- токенединица текста, которую модель обрабатывает за один шаг
- смесь экспертовархитектура, где модель делится на множество специализированных блоков и для каждого токена активна лишь их часть
- спекулятивное декодированиемаленькая модель заранее угадывает несколько следующих токенов, а большая проверяет их разом
- OpenRouterсервис, который даёт доступ к разным облачным AI-моделям через единый API
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 4:24.
Связки из этого ролика
2 шт.- GPU + CPU + RAM + SSD
- Mixture of Experts + Speculative Decoding
Компоненты
3 шт.Цитаты-доказательства
дословно из субтитров- Setting it up is really easy because you just run this one script and it asks you which model and which size you want and then it downloads about 70 GB and opens a little chat app in your browser.4:24
- I put together a little app where I send the same prompt to Strata on the left and to Quen 3.8 Flash on the right and it keeps track of the speed, the time and the cost.5:18
- I went with the twobit quantized version which is the smallest and fastest one and I'm running it on my 5090 with a Core Ultra 9 285K processor and 62 GB of RAM.4:35
Формат: разбор · для практикующих · уверенность разметки 0.75 · источник