Strata: 763B-модель на 12 ГБ VRAM и где подвох

Что в ролике
Автор с ПК на Ryzen 5, 64 ГБ ОЗУ и RTX с 12 ГБ VRAM проверяет, действительно ли новый бесплатный движок Strata запускает 763-миллиардную модель DeepSeek V4.1 Flash на такой карте. Strata использует архитектуру mixture of experts: у DeepSeek 40 слоёв по 384 эксперта, но на слово задействуются только 6, а гигантская N-грамм таблица на 196,6 млрд параметров лежит на SSD. Движок раскладывает модель по трём уровням — горячие части на GPU, средние в ОЗУ, редко используемые на SSD — и тем самым умещает то, что раньше требовало 24 ГБ и больше. Вирусная цифра «100 токенов в секунду» оказалась скоростью чтения промпта (prefill), а скорость генерации на 12 ГБ RTX 5070 составляет 4–6 токенов в секунду, то есть ответ на 1000 токенов идёт около трёх с половиной минут. Для сравнения, Qwen 3.8 Flash Next на 125 млрд параметров выдаёт 94 токена в секунду на той же карте, а DeepSeek становится быстрее только при большем объёме памяти: 128 ГБ дают 28,8 токена в секунду, 32 ГБ карта из 2018 года — 22–23. Автор показывает, что бутылочное горлышко сместилось с GPU на ОЗУ и SSD: DDR5 подорожала до 19 долларов за гигабайт, поэтому 64 ГБ стоят 1200 долларов, вчетверо дороже 12 ГБ RTX 3060. В итоге он советует для обычных задач не покупать железо, а арендовать DeepSeek API за 60 центов за миллион токенов в непиковые часы, если только не требуется полная приватность.
Практика
- Что получишь
- Понимание, как Strata распределяет модель по GPU, RAM и SSD, и реальные цифры скорости, чтобы решить, стоит ли ставить её на своё железо или арендовать API.
- Первый шаг
- Посмотрите характеристики своего ПК (объём VRAM, тип и объём ОЗУ, SSD) и сверьтесь с официальными таблицами производительности Strata для вашей конфигурации.
- Цифры
- —4–6 токенов в секунду — скорость генерации DeepSeek V4.1 Flash на 12 ГБ RTX 5070
- —94 токена в секунду — скорость генерации Qwen 3.8 Flash Next на том же железе
- —19 долларов за гигабайт — цена DDR5, в 6 раз дороже, чем год назад
- —60 центов за миллион токенов — стоимость API DeepSeek в непиковые часы
- Честно
- Автор не продаёт курс и не продвигает свой продукт, но в конце призывает ставить лайк и подписываться. Все данные взяты из открытой документации Strata и его собственных тестов, однако он предупреждает, что проект быстро меняется: за 38 дней вышло 63 релиза, и некоторые оптимизации откатывались. В видео он опирается на конкретные конфигурации и цены конца октября, которые могут устареть.
Если слова незнакомы — 5 терминов
- mixture of expertsархитектура, где модель состоит из множества специализированных блоков-экспертов, и для каждого слова активируется лишь малая часть
- N-грамм таблицасправочная таблица, хранящая вероятности последовательностей символов, занимает четверть параметров DeepSeek
- prefillэтап чтения и обработки промпта, когда модель сразу обрабатывает весь введённый текст
- токенминимальная единица текста, которую модель генерирует или читает (примерно часть слова)
- APIинтерфейс для программного доступа к модели через интернет
Компоненты
7 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник