К содержимому
Дайджест

Dory: модель на 4 млрд параметров, повторяющая слои

The Stack·9 ноября 2026·14:41
можно прочитать понять, как устроено промо
Открыть на YouTube
Разбор открытой NVIDIA-модели Dory на 4 млрд параметров с рекуррентным повторением слоёв, для практиков, выбирающих локальную модель под агентные задачи и длинные документы.

Что в ролике

Если вам нужна модель на 4 млрд параметров, которая в агентных задачах догоняет модели с 26 млрд, присмотритесь к открытой Dory от NVIDIA: она умеет прогонять свой средний блок из 20 пар слоёв от 1 до 4 раз для каждого токена, не меняя файл весов. В собственных тестах NVIDIA на SWE-bench Verified один и тот же чекпойнт набирает 50,3% при одном проходе и 61,8% при четырёх, что выше результата Gemma-модели на 26 млрд параметров (57,4%) в одинаковой конфигурации. Архитектурно Dory разбита на входной блок из 8 пар слоёв, рекуррентный средний из 20 пар и выходной из 8 пар; при четырёх циклах каждый токен проходит 192 операции слоёв, хотя веса хранятся один раз. Тренировали модель необычно: первые 4,5 трлн из 6 трлн токенов она была обычной, а на финальных 1,5 трлн на каждом шаге случайно выбирали число циклов от 1 до 4, поэтому выходной блок научился декодировать после любой остановки; дальше четырёх циклов результат не растёт (MMLU 71,19 против 71,17 при восьми). Практическая выгода видна на пошаговых задачах: Terminal Bench вырастает с 12,5% до 22,2%, агентный GDP-val поднимается с 815 до 967 ELO, при этом уже двух циклов хватает для 80% прироста SWE-bench и 86% GDP-val. Но циклы не добавляют знаний: factual-бенчмарк остаётся около 10% при любом числе проходов, а скорость на RTX 4090 падает со 188 до 78 токенов/с при четырёх циклах. Память растёт только при дефолтном per-loop-кэше (1,3 ГБ при одном, 3,5 ГБ при четырёх), а обещанная экономия включается вручную через last-loop, что стоит точности пары баллов. Вывод: для агентов и длинных документов это сильная модель для своего размера, но для широких фактических знаний держите под рукой модель покрупнее.

Практика

Что получишь
Понимание, где повторение слоёв реально ускоряет агентные задачи и токен-эффективность, а где упирается в знания и скорость; плюс точные настройки для запуска без лишней памяти.
Первый шаг
Запустите Dory с двумя циклами и вручную поменяйте в конфиге per-loop на last-loop caching, чтобы проверить её на своей агентной задаче.
Цифры
  • —61,8% на SWE-bench Verified при 4 циклах против 50,3% при одном цикле
  • —78 токенов/с при 4 циклах на RTX 4090 против 188 токенов/с при одном
  • —3,5 ГБ KV-кэша при 4 циклах с per-loop против 1,3 ГБ при одном цикле
  • —2 цикла дают 80% прироста SWE-bench и 86% GDP-val, поэтому это дефолт в карточке модели
Честно
В середине ролика автор просит подписаться на канал и зовёт в платное сообщество The Stack, где показывает свой продакшн-воркфлоу. Главный заголовок о превосходстве над Gemma держится на одном столбце non-hallucination, а если его убрать, средний балл по остальным тестам у Dory ниже. В репозитории противоречие по лицензии (OpenMDW против NVIDIA Open Model License), поэтому для коммерческого использования нужно проверять, какой файл применяется.
Если слова незнакомы — 5 терминов

Компоненты

3 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник