К содержимому
Дайджест

Сон для LLM: закрепить новое, не потеряв старое

The Stack·5 ноября 2026·9:05
можно прочитать понять, как устроено промо
Открыть на YouTube
Разбор научной статьи Google о цикле «сна» для языковых моделей: что именно делает метод, какие цифры у авторов и применимо ли это к обычным чат-ботам.

Что в ролике

Чат-боты ведут себя как люди с антероградной амнезией: всё, что модель узнала в чате, исчезает после сессии, а прямое дообучение новых фактов вызывает катастрофическое забывание. Google-исследователи предложили «сон» — офлайн-фазу, когда модель перестаёт принимать новый ввод и переносит выученное в отдельные веса: архитектура Mixture of Experts включает заранее выделенные новые блоки, а все прежние веса остаются замороженными. Перенос знаний из краткосрочных слоёв происходит через knowledge seating: модель до сна выступает учителем, расширенная модель-ученик подстраивается под её ответы, после чего краткосрочные слои очищаются как при синаптическом прунинге. Для закрепления модель генерирует синтетические вопросы-«сны» со случайными помехами, фильтр отбрасывает большинство из них, и на тесте чтения фактов полный цикл поднял результат базовой модели с 31,9% до 48,9%. Почти весь этот скачок дал более ранний метод SEAL, который набрал 46,7%, тогда как стандартный файнтюнинг без снов получил лишь 33,4%. Громкие заголовки тоже имеют оговорки: масштабирование до 10 млн токенов сравнивали с GPT-4 в zero-shot без дообучения, а математические 79,2% у Qwen 8B оказались всего на 2,8 пункта выше метода GRPO при базовых 73,8%. Авторы прямо пишут, что «сон» — это автоматизированный цикл постобучения внутри фиксированной архитектуры, а в чат-ботах вроде Gemini память о прошлых чатах работает как поиск сохранённого контекста, а не как изменение весов.

Практика

Что получишь
Понимание механизма «сна» для LLM: какие веса замораживаются, откуда берутся сны и почему посты Google не означают, что ваш чат-бот начал обучаться на вас.
Первый шаг
Спросите у Gemini «did you use any info from past chats?», чтобы убедиться, что его память — это поиск старых сообщений, а не изменение модели под вас.
Цифры
  • —31,9% → 48,9% — рост точности на чтении фактов у базовой модели после полного цикла сна
  • —46,7% — результат более раннего метода SEAL без сна, к которому сон добавил около 2 пунктов
  • —79,2% против 76,4% — математический результат сна на Qwen 8B против GRPO, при базовых 73,8%
  • —10 млн токенов — заявленный потолок масштабирования, где маленькая модель удержалась, а GPT-4 в zero-shot уже падал
Честно
В середине ролика автор просит подписаться и продвигает платное сообщество The Stack, обещая показать свой продакшн-воркфлоу. Все результаты — собственные бенчмарки авторов статьи на небольших моделях, без независимого повторения и опубликованного кода, часть чисел есть только на графиках. Для повторения метода по пересказу не хватает точных гиперпараметров сна и фильтра снов — нужно открывать статью.
Если слова незнакомы — 7 терминов

Компоненты

2 шт.

Формат: разбор · для продвинутых · уверенность разметки 0.94 · источник