Dory: модель на 4 млрд параметров, повторяющая слои

Что в ролике
Если вам нужна модель на 4 млрд параметров, которая в агентных задачах догоняет модели с 26 млрд, присмотритесь к открытой Dory от NVIDIA: она умеет прогонять свой средний блок из 20 пар слоёв от 1 до 4 раз для каждого токена, не меняя файл весов. В собственных тестах NVIDIA на SWE-bench Verified один и тот же чекпойнт набирает 50,3% при одном проходе и 61,8% при четырёх, что выше результата Gemma-модели на 26 млрд параметров (57,4%) в одинаковой конфигурации. Архитектурно Dory разбита на входной блок из 8 пар слоёв, рекуррентный средний из 20 пар и выходной из 8 пар; при четырёх циклах каждый токен проходит 192 операции слоёв, хотя веса хранятся один раз. Тренировали модель необычно: первые 4,5 трлн из 6 трлн токенов она была обычной, а на финальных 1,5 трлн на каждом шаге случайно выбирали число циклов от 1 до 4, поэтому выходной блок научился декодировать после любой остановки; дальше четырёх циклов результат не растёт (MMLU 71,19 против 71,17 при восьми). Практическая выгода видна на пошаговых задачах: Terminal Bench вырастает с 12,5% до 22,2%, агентный GDP-val поднимается с 815 до 967 ELO, при этом уже двух циклов хватает для 80% прироста SWE-bench и 86% GDP-val. Но циклы не добавляют знаний: factual-бенчмарк остаётся около 10% при любом числе проходов, а скорость на RTX 4090 падает со 188 до 78 токенов/с при четырёх циклах. Память растёт только при дефолтном per-loop-кэше (1,3 ГБ при одном, 3,5 ГБ при четырёх), а обещанная экономия включается вручную через last-loop, что стоит точности пары баллов. Вывод: для агентов и длинных документов это сильная модель для своего размера, но для широких фактических знаний держите под рукой модель покрупнее.
Практика
- Что получишь
- Понимание, где повторение слоёв реально ускоряет агентные задачи и токен-эффективность, а где упирается в знания и скорость; плюс точные настройки для запуска без лишней памяти.
- Первый шаг
- Запустите Dory с двумя циклами и вручную поменяйте в конфиге per-loop на last-loop caching, чтобы проверить её на своей агентной задаче.
- Цифры
- —61,8% на SWE-bench Verified при 4 циклах против 50,3% при одном цикле
- —78 токенов/с при 4 циклах на RTX 4090 против 188 токенов/с при одном
- —3,5 ГБ KV-кэша при 4 циклах с per-loop против 1,3 ГБ при одном цикле
- —2 цикла дают 80% прироста SWE-bench и 86% GDP-val, поэтому это дефолт в карточке модели
- Честно
- В середине ролика автор просит подписаться на канал и зовёт в платное сообщество The Stack, где показывает свой продакшн-воркфлоу. Главный заголовок о превосходстве над Gemma держится на одном столбце non-hallucination, а если его убрать, средний балл по остальным тестам у Dory ниже. В репозитории противоречие по лицензии (OpenMDW против NVIDIA Open Model License), поэтому для коммерческого использования нужно проверять, какой файл применяется.
Если слова незнакомы — 5 терминов
- рекуррентныйповторяющийся, когда один и тот же слой прогоняется несколько раз
- KV-кэшпамять, хранящая предыдущие токены, чтобы модель помнила контекст
- чекпойнтфайл с обученными весами модели
- токенминимальный кусок текста, который модель обрабатывает за один шаг
- last-loop cachingнастройка, при которой все проходы используют один общий кэш вместо отдельного на каждый цикл
Компоненты
3 шт.Формат: разбор · для продвинутых · уверенность разметки 0.85 · источник