NVIDIA Dory: один и тот же 4B-трансформер, но с петлями

Что в ролике
В ролике разбирается Dory — 4-миллиардный looped transformer от NVIDIA Neotron Labs, который автор установил и запустил на своём железе, потому что модель вышла под открытой лицензией и её можно скачать. Архитектурно Dory делит слои на три блока: входной (16 слоёв) и выходной (16) выполняются один раз, а средний рекуррентный блок из 40 слоёв зацикливается, и количество проходов задаётся при инференсе — 1, 2, 4 или больше. Благодаря общим весам в рекуррентном блоке память на GPU не растёт с числом петель: 4 прохода дают эффективную глубину 192 слоя, но веса те же 3,97 млрд параметров, хотя вычислительная нагрузка становится примерно как у 9-миллиардной плотной модели. Обучение модели: предобучение на 6 триллионах токенов, первые 4,5 триллиона в формате NVFP4, затем 16-битное дообучение с расширением контекста на 300 миллиардов токенов и финальный SFT с reinforcement learning через GPO. В бенчмарках против Gemma 4 26B (смесь экспертов с 4 млрд активных параметров) Dory выигрывает 1 из 10 тестов на одной петле, 4 из 10 на двух и 5 из 10 на четырёх, причём побеждает на инструкциях и длинном контексте, но проигрывает на знаниях вроде GPQA — не хватает весов для хранения фактов. Автор построил демо, запускающее три экземпляра модели с разным числом петель одновременно, и отдельный инструмент «loop lens» на PyTorch, который показывает, как растёт уверенность модели в предсказании токена: с 15% на одной петле до 68–75% на двух и более. Практическая рекомендация: по умолчанию использовать две петли, а для сложных агентных задач отправлять запросы на версию с четырьмя петлями; главная идея — масштабировать «размышления» на токен, а не длину ответа, и выбирать вычислительную глубину при деплое. На данный момент это исследовательская модель, и автор сам признаёт, что она вряд ли заменит что-то в продакшене, но направление looped transformers он считает перспективным, включая слухи о GPT-6.
Практика
- Что получишь
- Поймёте, как работает looped transformer и почему число проходов рекуррентного блока можно менять без переобучения. Сможете запустить Dory локально и выбрать компромисс между скоростью и качеством для своих задач.
- Первый шаг
- Скачать модель Dory с Hugging Face или по ссылке из описания ролика, установить движок инференса (например, vLLM) и запустить её с параметром числа петель, начав с двух.
- Цифры
- —3,97 млрд — параметры модели Dory, контекст до 256 тыс. токенов
- —72, 112 и 192 — эффективная глубина сети при 1, 2 и 4 петлях соответственно
- —9 млрд — примерный эквивалент плотной модели по вычислительной нагрузке при 4 петлях
- —68–75% — вероятность токена на 2 и более петлях против 15% на одной петле
- Честно
- Модель исследовательская, автор сам предупреждает, что для продакшена она вряд ли подойдёт. Чтобы повторить демо, придётся самому собрать окружение: в ролике автор не предоставляет свой UI и loop lens, только ссылки на карточку модели. В конце автор просит поставить лайк и подписаться — это обычное продвижение канала, другой рекламы нет.
Если слова незнакомы — 6 терминов
- looped transformerтрансформер, у которого часть слоёв повторяется несколько раз для одного токена
- рекуррентный блокгруппа слоёв, через которую токен проходит несколько раз, уточняя представление
- инференсзапуск обученной модели для получения ответа
- KV-кэшкэш пар ключ-значение в механизме внимания, влияющий на память и скорость
- смесь экспертовархитектура, где активна только часть параметров модели, остальные включаются по необходимости
- NVFP44-битный формат чисел с плавающей точкой от NVIDIA для сокращения памяти
Компоненты
3 шт.Формат: обзор · для продвинутых · уверенность разметки 0.85 · источник