Сон для LLM: закрепить новое, не потеряв старое

Что в ролике
Чат-боты ведут себя как люди с антероградной амнезией: всё, что модель узнала в чате, исчезает после сессии, а прямое дообучение новых фактов вызывает катастрофическое забывание. Google-исследователи предложили «сон» — офлайн-фазу, когда модель перестаёт принимать новый ввод и переносит выученное в отдельные веса: архитектура Mixture of Experts включает заранее выделенные новые блоки, а все прежние веса остаются замороженными. Перенос знаний из краткосрочных слоёв происходит через knowledge seating: модель до сна выступает учителем, расширенная модель-ученик подстраивается под её ответы, после чего краткосрочные слои очищаются как при синаптическом прунинге. Для закрепления модель генерирует синтетические вопросы-«сны» со случайными помехами, фильтр отбрасывает большинство из них, и на тесте чтения фактов полный цикл поднял результат базовой модели с 31,9% до 48,9%. Почти весь этот скачок дал более ранний метод SEAL, который набрал 46,7%, тогда как стандартный файнтюнинг без снов получил лишь 33,4%. Громкие заголовки тоже имеют оговорки: масштабирование до 10 млн токенов сравнивали с GPT-4 в zero-shot без дообучения, а математические 79,2% у Qwen 8B оказались всего на 2,8 пункта выше метода GRPO при базовых 73,8%. Авторы прямо пишут, что «сон» — это автоматизированный цикл постобучения внутри фиксированной архитектуры, а в чат-ботах вроде Gemini память о прошлых чатах работает как поиск сохранённого контекста, а не как изменение весов.
Практика
- Что получишь
- Понимание механизма «сна» для LLM: какие веса замораживаются, откуда берутся сны и почему посты Google не означают, что ваш чат-бот начал обучаться на вас.
- Первый шаг
- Спросите у Gemini «did you use any info from past chats?», чтобы убедиться, что его память — это поиск старых сообщений, а не изменение модели под вас.
- Цифры
- —31,9% → 48,9% — рост точности на чтении фактов у базовой модели после полного цикла сна
- —46,7% — результат более раннего метода SEAL без сна, к которому сон добавил около 2 пунктов
- —79,2% против 76,4% — математический результат сна на Qwen 8B против GRPO, при базовых 73,8%
- —10 млн токенов — заявленный потолок масштабирования, где маленькая модель удержалась, а GPT-4 в zero-shot уже падал
- Честно
- В середине ролика автор просит подписаться и продвигает платное сообщество The Stack, обещая показать свой продакшн-воркфлоу. Все результаты — собственные бенчмарки авторов статьи на небольших моделях, без независимого повторения и опубликованного кода, часть чисел есть только на графиках. Для повторения метода по пересказу не хватает точных гиперпараметров сна и фильтра снов — нужно открывать статью.
Если слова незнакомы — 7 терминов
- Mixture of Expertsархитектура, где модель состоит из множества экспертов, и роутер выбирает часть из них для каждого слова
- knowledge seatingперенос знаний, при котором модель до сна выступает учителем, а расширенная модель учится воспроизводить её ответы
- синаптический прунингочистка краткосрочных слоёв после переноса знаний в долговременные веса
- файнтюнингдообучение модели на новых примерах с обновлением весов
- zero-shotзапуск модели без дополнительного обучения под конкретную задачу
- GRPOметод обучения с подкреплением, Group Relative Policy Optimization
- токенединица текста, которую модель обрабатывает, например часть слова или слово
Компоненты
2 шт.Формат: разбор · для продвинутых · уверенность разметки 0.94 · источник