Dori: 4B-модель с повторным проходом слоёв

Что в ролике
Если у вас видеокарта на 8–12 ГБ и вы ищете сильную модель для кодинга, Dori от NVIDIA стоит внимания: это 4 миллиарда параметров и файл на 3,7 ГБ, а её главная особенность в том, что средние 20 слоёв могут прогоняться от одного до четырёх раз перед записью каждого токена. При одном проходе на SWE-bench verified она набирает 50,3%, при двух — 59,5%, при четырёх — 61,8%, то есть догоняет модель Qwen 9B с вдвое большим числом параметров. NVIDIA сначала обучила обычную 4B-модель на 4,5 триллиона токенов, затем ещё на 1,5 триллиона со случайным числом проходов и reinforcement learning, который направляет сложные задачи на большее число циклов. Однако на проверке фактов AA Omniscience счёт не меняется от числа проходов (10,03, 10,08, 10,03), потому что повторное перечитывание одних и тех же весов не добавляет новых знаний, которых модель не выучила. Скорость при этом падает почти одинаково на разном железе: на RTX 4090 с 188 токенов в секунду при одном проходе до 78 при четырёх, то есть в 2,4 раза медленнее. Проблему с памятью решает флаг last_loop, который делает общий KV-кэш для всех проходов и на 8 ГБ карте поднимает доступный контекст примерно с 40 000 до 107 000 токенов. Автор советует для 8–12 ГБ видеопамяти запускать два прохода с last_loop, всеми слоями на GPU и контекстом больше 4096 токенов, а на 24 ГБ вместо Dori брать Gemma 4 26B, у которой больше фактических знаний.
Практика
- Что получишь
- Понимание, как модель Dori с повторным проходом слоёв работает на практике, какие флаги ставить для 8–12 ГБ видеопамяти и когда лучше взять Gemma 4 26B вместо неё.
- Первый шаг
- Скачать Q5-файл Dori и запустить его с двумя проходами, флагом last_loop, всеми слоями на GPU и контекстом больше 4096 токенов.
- Цифры
- —61,8% — результат Dori на SWE-bench verified при четырёх проходах против 50,3% при одном
- —188, 128 и 78 токенов в секунду — скорость Dori на RTX 4090 при одном, двух и четырёх проходах
- —3,7 ГБ — размер Q5-файла модели Dori, который остаётся одинаковым при любом числе проходов
- —107 000 токенов — доступный контекст на 8 ГБ карте с флагом last_loop против 40 000 без него
- Честно
- Автор не продвигает свой продукт или платные материалы, но в конце просит подписаться и оставить комментарий. Все цифры бенчмарков взяты из материалов NVIDIA и сторонних замеров, сам автор не приводит собственного полного теста. В файле по умолчанию стоят четыре прохода и отдельный кэш на каждый проход, поэтому без явных флагов модель работает на самых медленных и прожорливых настройках.
Если слова незнакомы — 5 терминов
- SWE-bench verifiedнабор задач, где модель должна исправить реальные баги из GitHub-репозиториев
- токенминимальная единица текста, которую модель обрабатывает за один шаг
- reinforcement learningметод обучения, при котором модель получает оценку за ответ и корректирует поведение
- KV-кэшкэш ключей и значений в слоях внимания, чтобы не пересчитывать прошлые шаги при генерации
- GPUграфический процессор, на котором обычно запускают нейросети
Компоненты
9 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник