Зацикленная 4B-модель Dory: тест против Qwen 27B

Что в ролике
Автор запускает Nvidia Dory — 4B-модель с повторными проходами средних слоёв — на Mac Mini M4 с 16 ГБ и проверяет, догоняет ли она Qwen 3,8 27B. На бумаге ответ нет: Nvidia сравнивает Dory с Gemma 4 26B, где при четырёх циклах Dory набирает 18,4 против 16,35, но Qwen 3,8 27B на том же индексе Artificial Analysis получает 33,7 и просто не влезает в график. Автор собирает Nvidia-ветку llama-cpp, ставит температуру 1 с размышлениями и гоняет три набора: 10 задач на код с юнит-тестами, 12 математических и логических задач, 30 вопросов на эрудицию. Скорость падает с 26 токенов в секунду при одном цикле до 18 при двух и 11,5 при четырёх, а память контекста по умолчанию растёт с 1,4 до 3,6 гигабайта, но ключ last loop держит её на 1,4. В математике Dory решает все 12 задач при любом числе циклов, только тратит меньше слов: 42 000 токенов при одном цикле против 35 000 при четырёх. Кодинг почти не меняется: пять из десяти задач при одном цикле, шесть при двух и четырёх, а на эрудиции модель набирает 27 из 30 при одном и 28 при двух и четырёх — зацикливание усиливает размышления, но не добавляет фактов. Главная проблема — Dory не умеет останавливаться: на вопросе о самой длинной реке Европы она 80 раз повторила «Волга» и не дала ответа, а три задачи на код не завершились даже с 8000 токенов. Вывод: при наличии памяти Qwen 3,8 27B лучше, а на Mac с 16 ГБ стоит запускать Dory с двумя циклами и last loop, пропуская четыре цикла, и ждать поддержки в Ollama или LM Studio.
Практика
- Что получишь
- Понять, что даёт зацикливание слоёв в маленькой модели, и получить конкретные выводы по скорости, памяти и качеству на Mac с 16 ГБ.
- Первый шаг
- Если у вас Mac на 16 ГБ и вы готовы компилировать, скачайте файл Dory Q5_K_M (3,7 ГБ) и ветку llama-cpp от Nvidia, затем запустите с двумя циклами и ключом last loop.
- Цифры
- —3,7 гигабайта — размер файла Dory Q5_K_M, который автор запускал на Mac Mini M4
- —26 и 11,5 токена в секунду — скорость записи Dory при одном и четырёх циклах
- —12 из 12 задач по математике и логике модель решила при любом числе циклов
- —200 шагов занял финальный этап обучения с подкреплением, из-за чего Dory часто не может остановиться и повторяет ответ
- Честно
- Автор в середине предлагает оформить платную подписку на канал ради приоритетных ответов и member-only видео, но сам тест от неё не зависит. Ollama и LM Studio пока не поддерживают Dory, поэтому для повторения нужно собрать Nvidia-ветку llama-cpp из исходников; точные команды сборки в речи не проговариваются, их нужно смотреть на экране или в репозитории. Все ключевые настройки и результаты пересказаны, но сырые логи ответов в ролике не показаны целиком.
Если слова незнакомы — 5 терминов
- токенединица текста, которую модель читает или пишет, обычно часть слова
- контекстобъём текста, который модель держит в памяти текущего диалога
- llama-cppинструмент для запуска моделей локально из командной строки
- Ollama и LM Studioпрограммы для запуска моделей на своём компьютере без сборки из исходников
- last loopключ запуска Dory, который хранит память только последнего цикла, а не всех
Связки из этого ролика
2 шт.- Dory + llama.cpp on Mac Mini M4
- Qwen 3.8 27B 4-bit on Mac Mini
Компоненты
8 шт.Формат: обзор · для практикующих · уверенность разметки 0.85 · источник