К содержимому
Дайджест

NCM: генерация уровнями вместо слов — 31x не то, чем кажется

Kai·19 октября 2026·27:01
можно прочитать понять, как устроено
Открыть на YouTube
Разбор статьи Stanford о NCM и объяснение, почему обещание ускорить генерацию в 31 раз не означает конец LLM, — для тех, кто сам запускает модели и следит за сменой архитектур.

Что в ролике

Если вы запускали локальную модель, то знаете: современные LLM пишут текст по одному токену, и перед каждым токеном GPU перечитывает все веса модели, из-за чего 16 ГБ весов при ответе на 1024 токена — это 16 384 ГБ данных, а узел упирается не в вычисления, а в память. 14 октября команда Stanford опубликовала NCM — Next Concept Modeling, который вместо лево-направо пишет сверху вниз по уровням: сначала сжатая смысловая сетка из кодов, затем больше деталей, и только последний проход касается всех токенов. Такой генератор из 8 уровней делает ровно 8 проходов на любой ответ, а сжатие текста обеспечивает отдельная сеть VQ-VAE, поэтому вся система в эксперименте — это 88 млн параметров генератора плюс 61 млн параметров сжатия. На Sudoku с 30 заполненными клетками из 81 NCM при 12 попытках решает 86% досок, обычная авторегрессионная модель при 128 попытках — 1%, а лучшая diffusion-модель — 81%, но это микроскопические модели по 25 млн параметров. Заглавные 31x получены только в одном тесте: суммаризация новостей XSum с ответами по 48 токенов, где NCM с 8 проходами оказался в 31 раз быстрее diffusion-модели Aurora LM со 128 проходами, при этом обычную по-словам модель в этом сравнении вообще не запускали. В переводе с немецкого на английский NCM уступает авторегрессионной модели 22,6 против 25,2 BLEU, а чтобы догнать её, нужно сгенерировать 12 вариантов и потратить 132 прохода против примерно 64 у простой модели. Сейчас NCM нельзя обучить — опубликованный код только для оценки и требует CUDA GPU, самый большой обученный экземпляр имеет 725 млн параметров, а самая интересная модель для веб-текста лежит на Hugging Face как один файл todo размером 5 байт. Практическая замена, которую можно запустить уже сейчас, — Diffusion Gemma от Google с 25,2 млрд параметров, которая пишет по 15–20 токенов за проход, но на математике AME 2026 набирает 69,1 балла против 88,3 у обычной Gemma сопоставимого размера, так что плата за скорость — от 8 до 19 баллов качества.

Практика

Что получишь
Поймёте, что NCM — это не конкурент GPT, а новый способ писать текст по уровням, который выигрывает на одних задачах и проигрывает на других. Узнаете, почему скорость локальных моделей упирается в память и что нужно будет читать в характеристиках железа, если параллельная генерация станет массовой.
Первый шаг
Если хотите попробовать параллельную генерацию прямо сейчас, установите Diffusion Gemma и сравните скорость на одной беседе, а за развитием NCM следите по репозиторию Stanford.
Цифры
  • —31x — во столько раз NCM оказался быстрее diffusion-модели Aurora LM на суммаризации XSum с ответами по 48 токенов
  • —86% против 1% — доля решённых Sudoku у NCM за 12 попыток и у обычной модели за 128 попыток
  • —149 млн параметров — суммарный размер системы NCM из генератора (88 млн) и сети сжатия (61 млн)
  • —5 байт — размер файла todo в репозитории самой интересной NCM-модели для веб-текста
Честно
Автор не рекламирует свой продукт или партнёрку — это разбор открытой статьи и репозитория. В выпуске он опирается на таблицы и цифры из статьи, которые в транскрипте не приводятся, поэтому для проверки нужно смотреть оригинал. Его расчёт 32 раз меньше трафика для локальной машины — гипотетический, а не замер, а саму NCM пока нельзя обучить из опубликованного кода.
Если слова незнакомы — 8 терминов

Компоненты

7 шт.

Формат: разбор · для практикующих · уверенность разметки 0.92 · источник