К содержимому
Дайджест

120B-модели для дома: засуха закончилась

Rob Braxman Tech Deep Dive·23 октября 2026·10:43
можно прочитать выбрать инструмент
Открыть на YouTube
Разбор нового локального MoE LLM Nemotron 3 Super 120B от Nvidia и сравнение с GPT-OSS для тех, кто запускает модели на домашних машинах с 128 ГБ unified memory.

Что в ролике

Если вы держите домашнюю AI-машину на 128 ГБ unified memory, то до недавнего времени выбор 120-миллиардных моделей сводился к одной — GPT-OSS-120B. Автор считает этот размер оптимальным для Strix Halo, DGX Spark и Mac Studio, потому что такие машины стоят 4000–6000 долларов, а датацентровые модели 500B и выше для них не подходят. Новый претендент — Nvidia Nemotron 3 Super 120B, тоже MoE-модель, занимает около 83 ГБ видеопамяти против 63 ГБ у GPT-OSS при схожей скорости prefill около 300 токенов в секунду. По активным параметрам на эксперта Nemotron имеет 12 млрд против 5 млрд у GPT-OSS, то есть в 2,3 раза больше, и в тестах автора выглядит умнее. Но генерация текстов у Nemotron примерно втрое медленнее — 17 токенов в секунду против 53, и автор надеется удвоить её включением speculative decoding MTP, тогда как N-gram speculation ничего не дала. Для агентных задач с короткими ответами по 200 токенов и prefill 300 TPS эта разница некритична, поэтому автор уже поставил новинку в рабочий контур. Тренд подтверждает и Quant 3.5 122B, но его 108 ГБ VRAM с контекстом вылезают за лимит 96 ГБ, а Nvidia уже готовит Nemotron 3.5 Super.

Практика

Что получишь
Понимание того, какие 120B-модели реально запускаются на домашних машинах с 128 ГБ unified memory и насколько Nemotron 3 Super способен заменить GPT-OSS-120B в агентных сценариях.
Первый шаг
Проверить, влезает ли модель в доступные 96 ГБ VRAM, и запустить Nemotron 3 Super на своей машине с включённым speculative decoding MTP, если бэкенд его поддерживает.
Цифры
  • —83 ГБ — столько видеопамяти занимает Nemotron 3 Super против 63 ГБ у GPT-OSS-120B
  • —17 токенов/с — скорость генерации Nemotron против 53 токенов/с у GPT-OSS; автор ждёт удвоения с MTP
  • —300 токенов/с — скорость prefill у обеих моделей, ключевая для агентных циклов
  • —12 млрд параметров на эксперта у Nemotron против 5 млрд у GPT-OSS — в 2,3 раза больше активных параметров
Честно
Ролик не содержит готовой инструкции и явной рекламы: это разбор личного теста автора. Числа производительности названы им на словах, а точные команды, конфиги speculative decoding и интерфейс тестов на экране не показаны, поэтому для повторения придётся искать их отдельно.
Если слова незнакомы — 7 терминов

Связки из этого ролика

3 шт.

Компоненты

9 шт.

Формат: обзор · для практикующих · уверенность разметки 0.88 · источник