К содержимому
Дайджест

Петлевые трансформеры на RTX 3060: умнее или медленнее?

Codacus·19 октября 2026·21:09
текст даёт основное понять, как устроено
Открыть на YouTube
Эксперимент на одной RTX 3060: автор проверяет, можно ли сделать 4B-модель умнее, зациклив её слои, и что из этого вышло.

Что в ролике

Чтобы понять, можно ли увеличить 'интеллект' модели без роста весов, автор пробует зацикливать блоки готовых LLM: у 4B Qwen после двойного прохода четырёх средних слоёв точность на MMLU Pro и CommonSenseQA падает на 8 и 7 пунктов. Полушаговая коррекция из статьи о training-free looped transformers и перебор 22 окон блоков дают лишь шумовые изменения, а стабильного выигрыша нет. Параллельно автор обнаруживает, что простое дублирование вопроса в промпте поднимает MMLU Pro на 3,5 пункта и ARC на 2 без какого-либо кода. Nvidia выпустила Dory — 4B модель с 36 блоками, обученную зацикливанию на 6 трлн токенов; на одной RTX 3060 она пишет 52 токена/с при одном цикле и 21 при четырёх, а VRAM растёт с 3,8 до 4,6 ГБ из-за отдельного KV-кэша на каждый цикл. По бенчмаркам Nvidia два цикла дают заметный прирост в SWE-bench (с 50 до почти 60), но четыре цикла добавляют мало. Однако на тестах знаний Dory набирает 10 баллов независимо от числа циклов, тогда как 35B Qwen — 20, что показывает: цикл не добавляет знаний, а лишь даёт больше вычислений на уже имеющиеся. Вывод: зацикливание готовой модели почти ничего не даёт, но обученная циклу модель может выжать больше из того же VRAM, поэтому автор советует не патчить старые модели, а использовать Dory с двумя циклами.

Практика

Что получишь
Понимание, почему зацикливание слоёв работает только у специально обученных моделей, и практические лайфхаки: дублировать вопрос в промпте для моделей без рассуждений и использовать Dory с двумя циклами.
Первый шаг
Если есть RTX 3060 или похожая карта, скачать Dory (GGUF) и собрать ветку Llama CPP с поддержкой циклов, затем запустить с двумя циклами.
Цифры
  • —8 и 7 пунктов — на столько упала точность 4B Qwen на MMLU Pro и CommonSenseQA после зацикливания без обучения
  • —3,5 пункта — прирост MMLU Pro у 4B модели от простого дублирования вопроса в промпте
  • —52 и 21 токен/с — скорость генерации Dory на RTX 3060 при одном и четырёх циклах
  • —3,8 и 4,6 ГБ — VRAM Dory при одном и четырёх циклах на контексте 8K
Честно
Ролик содержит рекламу браузера Egoite для AI-агентов (ссылка в описании), и автор просит подписаться. Чтобы запустить Dory, нужно собрать Llama CPP из невлитого пул-реквеста Nvidia — готового установщика нет, шаги в описании.
Если слова незнакомы — 8 терминов

Компоненты

5 шт.

Формат: разбор · для практикующих · уверенность разметки 0.85 · источник