120B-модели для дома: засуха закончилась

Что в ролике
Если вы держите домашнюю AI-машину на 128 ГБ unified memory, то до недавнего времени выбор 120-миллиардных моделей сводился к одной — GPT-OSS-120B. Автор считает этот размер оптимальным для Strix Halo, DGX Spark и Mac Studio, потому что такие машины стоят 4000–6000 долларов, а датацентровые модели 500B и выше для них не подходят. Новый претендент — Nvidia Nemotron 3 Super 120B, тоже MoE-модель, занимает около 83 ГБ видеопамяти против 63 ГБ у GPT-OSS при схожей скорости prefill около 300 токенов в секунду. По активным параметрам на эксперта Nemotron имеет 12 млрд против 5 млрд у GPT-OSS, то есть в 2,3 раза больше, и в тестах автора выглядит умнее. Но генерация текстов у Nemotron примерно втрое медленнее — 17 токенов в секунду против 53, и автор надеется удвоить её включением speculative decoding MTP, тогда как N-gram speculation ничего не дала. Для агентных задач с короткими ответами по 200 токенов и prefill 300 TPS эта разница некритична, поэтому автор уже поставил новинку в рабочий контур. Тренд подтверждает и Quant 3.5 122B, но его 108 ГБ VRAM с контекстом вылезают за лимит 96 ГБ, а Nvidia уже готовит Nemotron 3.5 Super.
Практика
- Что получишь
- Понимание того, какие 120B-модели реально запускаются на домашних машинах с 128 ГБ unified memory и насколько Nemotron 3 Super способен заменить GPT-OSS-120B в агентных сценариях.
- Первый шаг
- Проверить, влезает ли модель в доступные 96 ГБ VRAM, и запустить Nemotron 3 Super на своей машине с включённым speculative decoding MTP, если бэкенд его поддерживает.
- Цифры
- —83 ГБ — столько видеопамяти занимает Nemotron 3 Super против 63 ГБ у GPT-OSS-120B
- —17 токенов/с — скорость генерации Nemotron против 53 токенов/с у GPT-OSS; автор ждёт удвоения с MTP
- —300 токенов/с — скорость prefill у обеих моделей, ключевая для агентных циклов
- —12 млрд параметров на эксперта у Nemotron против 5 млрд у GPT-OSS — в 2,3 раза больше активных параметров
- Честно
- Ролик не содержит готовой инструкции и явной рекламы: это разбор личного теста автора. Числа производительности названы им на словах, а точные команды, конфиги speculative decoding и интерфейс тестов на экране не показаны, поэтому для повторения придётся искать их отдельно.
Если слова незнакомы — 7 терминов
- MoE-модельмодель, где в каждом запросе активна только часть экспертов, а не все веса
- prefillэтап обработки входного контекста, от скорости которого зависит отклик агента
- токены в секундускорость генерации текста моделью
- MTPmulti-token prediction, предсказание нескольких следующих токенов сразу
- N-gram speculationускорение за счёт поиска повторяющихся фрагментов в выводе
- VRAMвидеопамять или unified memory, куда загружается модель
- unified memoryобщая память CPU и GPU, доступная модели на домашних машинах
Связки из этого ролика
3 шт.- MoE
- MTP
- N-gram speculation
Компоненты
9 шт.Формат: обзор · для практикующих · уверенность разметки 0.88 · источник