К содержимому
Дайджест

Зацикленная 4B-модель Dory: тест против Qwen 27B

RepoChad·10 ноября 2026·11:41
текст даёт основное выбрать инструмент промо
Открыть на YouTube
Разбор модели Nvidia Dory с повторным проходом слоёв: автор проверяет, может ли 4B-модель с циклами догнать Qwen 3,8 27B на Mac Mini с 16 ГБ.

Что в ролике

Автор запускает Nvidia Dory — 4B-модель с повторными проходами средних слоёв — на Mac Mini M4 с 16 ГБ и проверяет, догоняет ли она Qwen 3,8 27B. На бумаге ответ нет: Nvidia сравнивает Dory с Gemma 4 26B, где при четырёх циклах Dory набирает 18,4 против 16,35, но Qwen 3,8 27B на том же индексе Artificial Analysis получает 33,7 и просто не влезает в график. Автор собирает Nvidia-ветку llama-cpp, ставит температуру 1 с размышлениями и гоняет три набора: 10 задач на код с юнит-тестами, 12 математических и логических задач, 30 вопросов на эрудицию. Скорость падает с 26 токенов в секунду при одном цикле до 18 при двух и 11,5 при четырёх, а память контекста по умолчанию растёт с 1,4 до 3,6 гигабайта, но ключ last loop держит её на 1,4. В математике Dory решает все 12 задач при любом числе циклов, только тратит меньше слов: 42 000 токенов при одном цикле против 35 000 при четырёх. Кодинг почти не меняется: пять из десяти задач при одном цикле, шесть при двух и четырёх, а на эрудиции модель набирает 27 из 30 при одном и 28 при двух и четырёх — зацикливание усиливает размышления, но не добавляет фактов. Главная проблема — Dory не умеет останавливаться: на вопросе о самой длинной реке Европы она 80 раз повторила «Волга» и не дала ответа, а три задачи на код не завершились даже с 8000 токенов. Вывод: при наличии памяти Qwen 3,8 27B лучше, а на Mac с 16 ГБ стоит запускать Dory с двумя циклами и last loop, пропуская четыре цикла, и ждать поддержки в Ollama или LM Studio.

Практика

Что получишь
Понять, что даёт зацикливание слоёв в маленькой модели, и получить конкретные выводы по скорости, памяти и качеству на Mac с 16 ГБ.
Первый шаг
Если у вас Mac на 16 ГБ и вы готовы компилировать, скачайте файл Dory Q5_K_M (3,7 ГБ) и ветку llama-cpp от Nvidia, затем запустите с двумя циклами и ключом last loop.
Цифры
  • —3,7 гигабайта — размер файла Dory Q5_K_M, который автор запускал на Mac Mini M4
  • —26 и 11,5 токена в секунду — скорость записи Dory при одном и четырёх циклах
  • —12 из 12 задач по математике и логике модель решила при любом числе циклов
  • —200 шагов занял финальный этап обучения с подкреплением, из-за чего Dory часто не может остановиться и повторяет ответ
Честно
Автор в середине предлагает оформить платную подписку на канал ради приоритетных ответов и member-only видео, но сам тест от неё не зависит. Ollama и LM Studio пока не поддерживают Dory, поэтому для повторения нужно собрать Nvidia-ветку llama-cpp из исходников; точные команды сборки в речи не проговариваются, их нужно смотреть на экране или в репозитории. Все ключевые настройки и результаты пересказаны, но сырые логи ответов в ролике не показаны целиком.
Если слова незнакомы — 5 терминов

Связки из этого ролика

2 шт.

Компоненты

8 шт.

Формат: обзор · для практикующих · уверенность разметки 0.85 · источник