Локальный ИИ на 128 ГБ: почему токены в секунду обманывают

Что в ролике
Если вы подбираете мини-ПК на 128 ГБ для локального запуска моделей, ориентироваться только на токены в секунду нельзя. На предсерийном Framework Desktop с Ryzen AI Max+ 395 и локальным движком запуска модель Qwen 3 на 30 миллиардов параметров класса mixture of experts выдавала 78 токенов в секунду в синтетическом бенчмарке генерации, а плотная Llama 2 на 7 миллиардов — 51,2 токена в секунду. Однако на чтении промпта из 512 токенов Llama обрабатывала 924,9 токена в секунду против 645,5 у Qwen, поэтому при коротких ответах и длинных входах преимущество переворачивается. В розничном мини-ПК на том же чипе с другой моделью и кастомной сборкой свежий промпт на 18 000 токенов ждал первого токена 44 секунды, а медианная генерация в 10 агентских диалогах составила около 33 токенов в секунду. Модель на 24 миллиарда параметров в сжатом виде давала 14,4 токена в секунду, а 70-миллиардная — всего 5,0, хотя обе помещались в память. Спекулятивный драфтинг ускорил переписывание файла с 29,0 до 55,4 токена в секунду на 8 000 токенов, но на обычной прозе почти не помог — 29,3 против 30,1. Для реального выбора стоит измерять не только генерацию, но и время до первого токена и полное время до готового ответа.
Практика
- Что получишь
- Умение отличать скорость генерации от задержки чтения промпта и подбирать модель под свой тип работы, а не по общему объёму памяти.
- Первый шаг
- Возьмите свою типичную задачу и запустите модель на своей машине, замеряя время до первого токена, темп генерации и общее время до готового ответа.
- Цифры
- —78 токенов в секунду — скорость генерации Qwen 3 на 30 миллиардов параметров в синтетическом тесте на предсерийном Framework Desktop
- —44 секунды — столько ждал первый токен на свежем промпте из 18 000 токенов в розничном мини-ПК
- —55,4 токена в секунду — ускорение переписывания файлов спекулятивным драфтингом против 29,0 без него
- —5,0 токена в секунду — скорость 70-миллиардной плотной модели в сжатой конфигурации, помещавшейся в 128 ГБ
- Честно
- Автор просит подписаться и поставить лайк, но продукта или курса не продвигает. Все цифры взяты из опубликованных чужих отчётов и синтетических бенчмарков, а не из собственных измерений: использовались разные драйверы, квантизация и кастомные сборки. Спекулятивный драфтинг с лучшими результатами требует модифицированной ветки llama.cpp, которую нельзя запустить в стандартной версии, так что просто повторить эти числа непросто.
Если слова незнакомы — 7 терминов
- токенкусок текста, который модель читает или пишет, примерно слог или короткое слово
- промптвходной текст или инструкция, которую вы подаёте модели
- mixture of expertsархитектура, где для каждого токена работает только малая часть специализированных слоёв, а не вся сеть
- плотная модельмодель, в которой каждый токен обрабатывает вся основная сеть
- параметрычисловые веса, которые модель выучила при обучении; миллиарды считают их количество, а не гигабайты файла
- спекулятивный драфтинглёгкая модель предлагает несколько следующих токенов дёшево, а основная проверяет их разом
- агентпрограмма, которая сама выполняет шаги, например ведёт диалог с моделью по задаче
Связки из этого ролика
2 шт.- AMD Ryzen AI Max+ 395 + 128GB unified memory
- llama.cpp + speculative draft head
Компоненты
5 шт.Формат: разбор · для практикующих · уверенность разметки 0.86 · источник