Петлевые трансформеры на RTX 3060: умнее или медленнее?

Что в ролике
Чтобы понять, можно ли увеличить 'интеллект' модели без роста весов, автор пробует зацикливать блоки готовых LLM: у 4B Qwen после двойного прохода четырёх средних слоёв точность на MMLU Pro и CommonSenseQA падает на 8 и 7 пунктов. Полушаговая коррекция из статьи о training-free looped transformers и перебор 22 окон блоков дают лишь шумовые изменения, а стабильного выигрыша нет. Параллельно автор обнаруживает, что простое дублирование вопроса в промпте поднимает MMLU Pro на 3,5 пункта и ARC на 2 без какого-либо кода. Nvidia выпустила Dory — 4B модель с 36 блоками, обученную зацикливанию на 6 трлн токенов; на одной RTX 3060 она пишет 52 токена/с при одном цикле и 21 при четырёх, а VRAM растёт с 3,8 до 4,6 ГБ из-за отдельного KV-кэша на каждый цикл. По бенчмаркам Nvidia два цикла дают заметный прирост в SWE-bench (с 50 до почти 60), но четыре цикла добавляют мало. Однако на тестах знаний Dory набирает 10 баллов независимо от числа циклов, тогда как 35B Qwen — 20, что показывает: цикл не добавляет знаний, а лишь даёт больше вычислений на уже имеющиеся. Вывод: зацикливание готовой модели почти ничего не даёт, но обученная циклу модель может выжать больше из того же VRAM, поэтому автор советует не патчить старые модели, а использовать Dory с двумя циклами.
Практика
- Что получишь
- Понимание, почему зацикливание слоёв работает только у специально обученных моделей, и практические лайфхаки: дублировать вопрос в промпте для моделей без рассуждений и использовать Dory с двумя циклами.
- Первый шаг
- Если есть RTX 3060 или похожая карта, скачать Dory (GGUF) и собрать ветку Llama CPP с поддержкой циклов, затем запустить с двумя циклами.
- Цифры
- —8 и 7 пунктов — на столько упала точность 4B Qwen на MMLU Pro и CommonSenseQA после зацикливания без обучения
- —3,5 пункта — прирост MMLU Pro у 4B модели от простого дублирования вопроса в промпте
- —52 и 21 токен/с — скорость генерации Dory на RTX 3060 при одном и четырёх циклах
- —3,8 и 4,6 ГБ — VRAM Dory при одном и четырёх циклах на контексте 8K
- Честно
- Ролик содержит рекламу браузера Egoite для AI-агентов (ссылка в описании), и автор просит подписаться. Чтобы запустить Dory, нужно собрать Llama CPP из невлитого пул-реквеста Nvidia — готового установщика нет, шаги в описании.
Если слова незнакомы — 8 терминов
- LLMбольшая языковая модель, которая пишет текст по запросу
- KV-кэшпамять модели о предыдущих токенах, которая занимает видеопамять и растёт с длиной контекста
- токенминимальная единица текста, с которой работает модель (слово или кусок слова)
- промпттекст-задание, которое ты отправляешь модели
- бенчмаркстандартизированный тест для сравнения моделей
- SWE-benchтест, где модель решает задачи по программированию
- GGUFформат файла модели для запуска в Llama CPP
- Llama CPPинструмент для запуска LLM на обычном компьютере, часто на CPU или одной видеокарте
Компоненты
5 шт.Формат: разбор · для практикующих · уверенность разметки 0.85 · источник