К содержимому
Дайджест

Локальный ИИ на 128 ГБ: почему токены в секунду обманывают

The Stack·4 октября 2026·13:32
текст даёт основное понять, как устроено
Открыть на YouTube
Разбор опубликованных бенчмарков локального запуска моделей на 128 ГБ мини-ПК для тех, кто выбирает железо под свои задачи.

Что в ролике

Если вы подбираете мини-ПК на 128 ГБ для локального запуска моделей, ориентироваться только на токены в секунду нельзя. На предсерийном Framework Desktop с Ryzen AI Max+ 395 и локальным движком запуска модель Qwen 3 на 30 миллиардов параметров класса mixture of experts выдавала 78 токенов в секунду в синтетическом бенчмарке генерации, а плотная Llama 2 на 7 миллиардов — 51,2 токена в секунду. Однако на чтении промпта из 512 токенов Llama обрабатывала 924,9 токена в секунду против 645,5 у Qwen, поэтому при коротких ответах и длинных входах преимущество переворачивается. В розничном мини-ПК на том же чипе с другой моделью и кастомной сборкой свежий промпт на 18 000 токенов ждал первого токена 44 секунды, а медианная генерация в 10 агентских диалогах составила около 33 токенов в секунду. Модель на 24 миллиарда параметров в сжатом виде давала 14,4 токена в секунду, а 70-миллиардная — всего 5,0, хотя обе помещались в память. Спекулятивный драфтинг ускорил переписывание файла с 29,0 до 55,4 токена в секунду на 8 000 токенов, но на обычной прозе почти не помог — 29,3 против 30,1. Для реального выбора стоит измерять не только генерацию, но и время до первого токена и полное время до готового ответа.

Практика

Что получишь
Умение отличать скорость генерации от задержки чтения промпта и подбирать модель под свой тип работы, а не по общему объёму памяти.
Первый шаг
Возьмите свою типичную задачу и запустите модель на своей машине, замеряя время до первого токена, темп генерации и общее время до готового ответа.
Цифры
  • —78 токенов в секунду — скорость генерации Qwen 3 на 30 миллиардов параметров в синтетическом тесте на предсерийном Framework Desktop
  • —44 секунды — столько ждал первый токен на свежем промпте из 18 000 токенов в розничном мини-ПК
  • —55,4 токена в секунду — ускорение переписывания файлов спекулятивным драфтингом против 29,0 без него
  • —5,0 токена в секунду — скорость 70-миллиардной плотной модели в сжатой конфигурации, помещавшейся в 128 ГБ
Честно
Автор просит подписаться и поставить лайк, но продукта или курса не продвигает. Все цифры взяты из опубликованных чужих отчётов и синтетических бенчмарков, а не из собственных измерений: использовались разные драйверы, квантизация и кастомные сборки. Спекулятивный драфтинг с лучшими результатами требует модифицированной ветки llama.cpp, которую нельзя запустить в стандартной версии, так что просто повторить эти числа непросто.
Если слова незнакомы — 7 терминов

Связки из этого ролика

2 шт.

Компоненты

5 шт.

Формат: разбор · для практикующих · уверенность разметки 0.86 · источник