К содержимому
Дайджест

Dori: 4B-модель с повторным проходом слоёв

Kai·10 ноября 2026·31:47
текст даёт основное выбрать инструмент
Открыть на YouTube
Разбор модели NVIDIA Dori (4B) с повторным проходом средних слоёв: для тех, кто выбирает локальную модель под 8–12 ГБ видеопамяти и хочет понимать её реальные ограничения.

Что в ролике

Если у вас видеокарта на 8–12 ГБ и вы ищете сильную модель для кодинга, Dori от NVIDIA стоит внимания: это 4 миллиарда параметров и файл на 3,7 ГБ, а её главная особенность в том, что средние 20 слоёв могут прогоняться от одного до четырёх раз перед записью каждого токена. При одном проходе на SWE-bench verified она набирает 50,3%, при двух — 59,5%, при четырёх — 61,8%, то есть догоняет модель Qwen 9B с вдвое большим числом параметров. NVIDIA сначала обучила обычную 4B-модель на 4,5 триллиона токенов, затем ещё на 1,5 триллиона со случайным числом проходов и reinforcement learning, который направляет сложные задачи на большее число циклов. Однако на проверке фактов AA Omniscience счёт не меняется от числа проходов (10,03, 10,08, 10,03), потому что повторное перечитывание одних и тех же весов не добавляет новых знаний, которых модель не выучила. Скорость при этом падает почти одинаково на разном железе: на RTX 4090 с 188 токенов в секунду при одном проходе до 78 при четырёх, то есть в 2,4 раза медленнее. Проблему с памятью решает флаг last_loop, который делает общий KV-кэш для всех проходов и на 8 ГБ карте поднимает доступный контекст примерно с 40 000 до 107 000 токенов. Автор советует для 8–12 ГБ видеопамяти запускать два прохода с last_loop, всеми слоями на GPU и контекстом больше 4096 токенов, а на 24 ГБ вместо Dori брать Gemma 4 26B, у которой больше фактических знаний.

Практика

Что получишь
Понимание, как модель Dori с повторным проходом слоёв работает на практике, какие флаги ставить для 8–12 ГБ видеопамяти и когда лучше взять Gemma 4 26B вместо неё.
Первый шаг
Скачать Q5-файл Dori и запустить его с двумя проходами, флагом last_loop, всеми слоями на GPU и контекстом больше 4096 токенов.
Цифры
  • —61,8% — результат Dori на SWE-bench verified при четырёх проходах против 50,3% при одном
  • —188, 128 и 78 токенов в секунду — скорость Dori на RTX 4090 при одном, двух и четырёх проходах
  • —3,7 ГБ — размер Q5-файла модели Dori, который остаётся одинаковым при любом числе проходов
  • —107 000 токенов — доступный контекст на 8 ГБ карте с флагом last_loop против 40 000 без него
Честно
Автор не продвигает свой продукт или платные материалы, но в конце просит подписаться и оставить комментарий. Все цифры бенчмарков взяты из материалов NVIDIA и сторонних замеров, сам автор не приводит собственного полного теста. В файле по умолчанию стоят четыре прохода и отдельный кэш на каждый проход, поэтому без явных флагов модель работает на самых медленных и прожорливых настройках.
Если слова незнакомы — 5 терминов

Компоненты

9 шт.

Формат: обзор · для практикующих · уверенность разметки 0.9 · источник