К содержимому
Дайджест

NVIDIA Dory: один и тот же 4B-трансформер, но с петлями

Sam Witteveen·2 ноября 2026·15:05
текст даёт основное выбрать инструмент
Открыть на YouTube
Обзор исследовательской модели NVIDIA Dory с зацикленными слоями: что это, как работает и как запустить, для практиков, интересующихся архитектурами трансформеров и оптимизацией инференса.

Что в ролике

В ролике разбирается Dory — 4-миллиардный looped transformer от NVIDIA Neotron Labs, который автор установил и запустил на своём железе, потому что модель вышла под открытой лицензией и её можно скачать. Архитектурно Dory делит слои на три блока: входной (16 слоёв) и выходной (16) выполняются один раз, а средний рекуррентный блок из 40 слоёв зацикливается, и количество проходов задаётся при инференсе — 1, 2, 4 или больше. Благодаря общим весам в рекуррентном блоке память на GPU не растёт с числом петель: 4 прохода дают эффективную глубину 192 слоя, но веса те же 3,97 млрд параметров, хотя вычислительная нагрузка становится примерно как у 9-миллиардной плотной модели. Обучение модели: предобучение на 6 триллионах токенов, первые 4,5 триллиона в формате NVFP4, затем 16-битное дообучение с расширением контекста на 300 миллиардов токенов и финальный SFT с reinforcement learning через GPO. В бенчмарках против Gemma 4 26B (смесь экспертов с 4 млрд активных параметров) Dory выигрывает 1 из 10 тестов на одной петле, 4 из 10 на двух и 5 из 10 на четырёх, причём побеждает на инструкциях и длинном контексте, но проигрывает на знаниях вроде GPQA — не хватает весов для хранения фактов. Автор построил демо, запускающее три экземпляра модели с разным числом петель одновременно, и отдельный инструмент «loop lens» на PyTorch, который показывает, как растёт уверенность модели в предсказании токена: с 15% на одной петле до 68–75% на двух и более. Практическая рекомендация: по умолчанию использовать две петли, а для сложных агентных задач отправлять запросы на версию с четырьмя петлями; главная идея — масштабировать «размышления» на токен, а не длину ответа, и выбирать вычислительную глубину при деплое. На данный момент это исследовательская модель, и автор сам признаёт, что она вряд ли заменит что-то в продакшене, но направление looped transformers он считает перспективным, включая слухи о GPT-6.

Практика

Что получишь
Поймёте, как работает looped transformer и почему число проходов рекуррентного блока можно менять без переобучения. Сможете запустить Dory локально и выбрать компромисс между скоростью и качеством для своих задач.
Первый шаг
Скачать модель Dory с Hugging Face или по ссылке из описания ролика, установить движок инференса (например, vLLM) и запустить её с параметром числа петель, начав с двух.
Цифры
  • —3,97 млрд — параметры модели Dory, контекст до 256 тыс. токенов
  • —72, 112 и 192 — эффективная глубина сети при 1, 2 и 4 петлях соответственно
  • —9 млрд — примерный эквивалент плотной модели по вычислительной нагрузке при 4 петлях
  • —68–75% — вероятность токена на 2 и более петлях против 15% на одной петле
Честно
Модель исследовательская, автор сам предупреждает, что для продакшена она вряд ли подойдёт. Чтобы повторить демо, придётся самому собрать окружение: в ролике автор не предоставляет свой UI и loop lens, только ссылки на карточку модели. В конце автор просит поставить лайк и подписаться — это обычное продвижение канала, другой рекламы нет.
Если слова незнакомы — 6 терминов

Компоненты

3 шт.

Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник