Qwen 3.8 Flash Next на $1000: тест четырёх квантизаций

Что в ролике
Чтобы проверить, на что способна модель Qwen 3.8 Flash Next на доступном железе, автор собирает стенд примерно за 1000 долларов: Dell Precision T5810 за 150 долларов, две GeForce RTX 3060 по 12 ГБ, 64 ГБ DDR4 и 1 ТБ SSD. Он прогоняет один и тот же промпт — анимированный SVG с котом на заборе — через четыре квантизации движка Strata: Q2, IQ2XS, IQ3XXS и IQ3S. Первая модель выдаёт 15 275 токенов со скоростью 63,3 токена в секунду, но кот получается грустным и почти без ушей. IQ2XS тратит на генерацию 85 844 токена и работает на 62 токенах в секунду, однако в анимации фоновые дома движутся, а забор остаётся статичным. IQ3XXS генерирует 37 815 токенов на 52,4 токена в секунду и уже показывает падающие листья, луну, птиц и падающую звезду, хотя движения лап выглядят странно. Финал на IQ3S занимает 53,4 ГБ системной памяти и выглядит заметно лучше: появляется параллакс, смена дня и ночи, управление темпом и паузой по клику, а кот меняет окрас. Автор делает вывод, что для такого качества не нужна машина с 128 ГБ памяти — хватает 64 ГБ и двух 3060 на платформе 2015 года, и ждёт, что те же квантизации подойдут будущей Qwen 4.
Практика
- Что получишь
- Увидите, как разные квантизации одной модели влияют на качество и скорость генерации, и поймёте, что для локального запуска не нужна машина дороже 1000 долларов.
- Первый шаг
- Собрать аналогичный стенд по спецификации из описания видео (Dell T5810, две RTX 3060 12 ГБ, 64 ГБ RAM) и запустить Strata с моделью Qwen 3.8 Flash Next.
- Цифры
- —1000 долларов — бюджет сборки: Dell T5810 за 150, две RTX 3060 12 ГБ, 64 ГБ DDR4 и 1 ТБ SSD
- —63,3 токена в секунду — скорость первой квантизации Q2 на выводе 15 275 токенов
- —85 844 токена — столько сгенерировала IQ2XS, работая на 62 токенах в секунду
- —53,4 ГБ — столько системной памяти заняла финальная IQ3S
- Честно
- Автор продвигает свой канал, членство, Patreon и «buy me a coffee», но спецификация сборки и ссылка на гайд лежат в описании бесплатно. Сами файлы моделей и установка Strata в ролике не показаны пошагово, их придётся искать и настраивать по сторонним материалам. Часть параметров (точный промпт, интерфейс Strata, значения настроек) видна только на экране, поэтому повторять придётся по видео.
Если слова незнакомы — 5 терминов
- квантизациясжатие модели, уменьшающее её точность и требования к памяти
- токенединица текста, которую модель генерирует за шаг
- промпттекст-задание, которое ты даёшь модели
- SVGвекторный формат картинок, который можно анимировать кодом
- параллаксэффект, когда слои картинки двигаются с разной скоростью и создают глубину
Связки из этого ролика
4 шт.- Dell Precision T5810
- 2x NVIDIA RTX 3060 12GB
- 64GB DDR4 2133
- Intel Xeon E5-2696 v4
Компоненты
3 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник