NCM: генерация уровнями вместо слов — 31x не то, чем кажется

Что в ролике
Если вы запускали локальную модель, то знаете: современные LLM пишут текст по одному токену, и перед каждым токеном GPU перечитывает все веса модели, из-за чего 16 ГБ весов при ответе на 1024 токена — это 16 384 ГБ данных, а узел упирается не в вычисления, а в память. 14 октября команда Stanford опубликовала NCM — Next Concept Modeling, который вместо лево-направо пишет сверху вниз по уровням: сначала сжатая смысловая сетка из кодов, затем больше деталей, и только последний проход касается всех токенов. Такой генератор из 8 уровней делает ровно 8 проходов на любой ответ, а сжатие текста обеспечивает отдельная сеть VQ-VAE, поэтому вся система в эксперименте — это 88 млн параметров генератора плюс 61 млн параметров сжатия. На Sudoku с 30 заполненными клетками из 81 NCM при 12 попытках решает 86% досок, обычная авторегрессионная модель при 128 попытках — 1%, а лучшая diffusion-модель — 81%, но это микроскопические модели по 25 млн параметров. Заглавные 31x получены только в одном тесте: суммаризация новостей XSum с ответами по 48 токенов, где NCM с 8 проходами оказался в 31 раз быстрее diffusion-модели Aurora LM со 128 проходами, при этом обычную по-словам модель в этом сравнении вообще не запускали. В переводе с немецкого на английский NCM уступает авторегрессионной модели 22,6 против 25,2 BLEU, а чтобы догнать её, нужно сгенерировать 12 вариантов и потратить 132 прохода против примерно 64 у простой модели. Сейчас NCM нельзя обучить — опубликованный код только для оценки и требует CUDA GPU, самый большой обученный экземпляр имеет 725 млн параметров, а самая интересная модель для веб-текста лежит на Hugging Face как один файл todo размером 5 байт. Практическая замена, которую можно запустить уже сейчас, — Diffusion Gemma от Google с 25,2 млрд параметров, которая пишет по 15–20 токенов за проход, но на математике AME 2026 набирает 69,1 балла против 88,3 у обычной Gemma сопоставимого размера, так что плата за скорость — от 8 до 19 баллов качества.
Практика
- Что получишь
- Поймёте, что NCM — это не конкурент GPT, а новый способ писать текст по уровням, который выигрывает на одних задачах и проигрывает на других. Узнаете, почему скорость локальных моделей упирается в память и что нужно будет читать в характеристиках железа, если параллельная генерация станет массовой.
- Первый шаг
- Если хотите попробовать параллельную генерацию прямо сейчас, установите Diffusion Gemma и сравните скорость на одной беседе, а за развитием NCM следите по репозиторию Stanford.
- Цифры
- —31x — во столько раз NCM оказался быстрее diffusion-модели Aurora LM на суммаризации XSum с ответами по 48 токенов
- —86% против 1% — доля решённых Sudoku у NCM за 12 попыток и у обычной модели за 128 попыток
- —149 млн параметров — суммарный размер системы NCM из генератора (88 млн) и сети сжатия (61 млн)
- —5 байт — размер файла todo в репозитории самой интересной NCM-модели для веб-текста
- Честно
- Автор не рекламирует свой продукт или партнёрку — это разбор открытой статьи и репозитория. В выпуске он опирается на таблицы и цифры из статьи, которые в транскрипте не приводятся, поэтому для проверки нужно смотреть оригинал. Его расчёт 32 раз меньше трафика для локальной машины — гипотетический, а не замер, а саму NCM пока нельзя обучить из опубликованного кода.
Если слова незнакомы — 8 терминов
- LLMбольшая языковая модель, которая обычно пишет текст по одному токену
- токенединица текста, примерно слово или кусок слова
- GPUвидеокарта, которая выполняет тяжёлые вычисления модели
- VQ-VAEсеть, сжимающая текст в многоуровневый набор числовых кодов для последующего восстановления
- авторегрессионная модельмодель, которая пишет строго по одному токену слева направо
- diffusion-модельпараллельная языковая модель, которая за несколько проходов уточняет сразу все позиции текста
- BLEUметрика схожести машинного перевода с эталонным человеческим переводом
- CUDAтехнология Nvidia для запуска вычислений на GPU
Компоненты
7 шт.Формат: разбор · для практикующих · уверенность разметки 0.92 · источник