Stanford Memorilla: сжатие памяти до 16 токенов в тестах

Что в ролике
Если вы держите в ассистенте длинную историю диалогов или документы, обычно приходится либо пихать всё в контекст, либо искать похожие куски через RAG. Проект Stanford Memorilla предлагает третий путь: эмбеддинг-модель превращает документы в векторы, а небольшой модуль на 200 миллионов параметров сжимает их вместе с вопросом в 16 специальных токенов, которые затем читает замороженная Qwen 3. Автор проверил систему на H100 и воспроизвёл пример из README: на 107 чатах объёмом около 32 000 токенов Memorilla вспомнила семейную историю диабета второго типа из не связанного с завтраком диалога. На собственных тестах с вымышленным пользователем Сэмом и 150 короткими чатами ни один из четырёх методов не нашёл спрятанные подсказки, а Memorilla наврала про аллергию на моллюсков и выдумала имя сестры Emily. Зато по скорости всё сошлось: при 512 сообщениях и 128 000 токенов полный контекст отвечал больше 19 секунд, тогда как Memorilla — 0,12 секунды, а с учётом эмбеддингов — около 3,2 секунды, то есть примерно в шесть раз быстрее. На «Собаке Баскервилей» Memorilla ответила верно лишь на 1 вопрос из 8, а один из персонажей был притянут из другой истории про Шерлока Холмса. Вывод: идея фиксированной стоимости памяти хорошая, но в тестах автора модель запоминает общий смысл и теряет точные факты, поэтому для продакшена безопаснее пока обычный RAG, а Memorilla интересна как исследовательский чекпоинт с возможностью дообучения на своих данных.
Практика
- Что получишь
- Понять, какие обещания Memorilla подтверждаются, а какие нет, и почему для точных фактов лучше сочетать её с RAG или дообучать модуль на своих данных.
- Первый шаг
- Клонировать репозиторий Memorilla и прогнать пример из README на арендованном GPU, прежде чем добавлять свои данные.
- Цифры
- —16 токенов — сколько памяти Memorilla отдаёт модели при любом объёме документов
- —128 000 токенов — объём истории из 512 сообщений, при котором полный контекст отвечал больше 19 секунд
- —3,2 секунды — время Memorilla с учётом эмбеддингов на 512 документах, примерно в шесть раз быстрее полного контекста
- —1 из 8 — столько правильных ответов дал Memorilla на вопросах по «Собаке Баскервилей»
- Честно
- Это контент канала Better Stack: в конце автор просит лайк, подписку и оставляет ссылку на свой код в GitHub, но платных продуктов не рекламирует. Команды запуска и графики измерений показываются на экране, в пересказе их нет, а тесты проведены автором на вымышленных данных и не гарантируют результат на ваших.
Если слова незнакомы — 6 терминов
- RAGпоиск по сохранённым документам и подстановка похожих кусков в запрос вместо обработки всей базы
- эмбеддинг-модельмодель, которая превращает текст в числовой вектор, чтобы машина могла сравнивать смыслы
- векторчисловое представление текста в многомерном пространстве
- контекствсё, что модель видит в одном запросе, включая вставленные документы
- токенусловная единица текста, которую модель читает за один шаг
- чекпоинтсохранённая версия модели после обучения, не готовый продукт
Компоненты
7 шт.Формат: обзор · для практикующих · уверенность разметки 0.9 · источник