К содержимому
Дайджест

Stanford Memorilla: сжатие памяти до 16 токенов в тестах

Better Stack·15 ноября 2026·11:21
можно прочитать выбрать инструмент
Открыть на YouTube
Технический разбор исследовательского проекта Stanford Memorilla с собственными тестами на H100 для разработчиков, выбирающих память для ИИ-ассистентов.

Что в ролике

Если вы держите в ассистенте длинную историю диалогов или документы, обычно приходится либо пихать всё в контекст, либо искать похожие куски через RAG. Проект Stanford Memorilla предлагает третий путь: эмбеддинг-модель превращает документы в векторы, а небольшой модуль на 200 миллионов параметров сжимает их вместе с вопросом в 16 специальных токенов, которые затем читает замороженная Qwen 3. Автор проверил систему на H100 и воспроизвёл пример из README: на 107 чатах объёмом около 32 000 токенов Memorilla вспомнила семейную историю диабета второго типа из не связанного с завтраком диалога. На собственных тестах с вымышленным пользователем Сэмом и 150 короткими чатами ни один из четырёх методов не нашёл спрятанные подсказки, а Memorilla наврала про аллергию на моллюсков и выдумала имя сестры Emily. Зато по скорости всё сошлось: при 512 сообщениях и 128 000 токенов полный контекст отвечал больше 19 секунд, тогда как Memorilla — 0,12 секунды, а с учётом эмбеддингов — около 3,2 секунды, то есть примерно в шесть раз быстрее. На «Собаке Баскервилей» Memorilla ответила верно лишь на 1 вопрос из 8, а один из персонажей был притянут из другой истории про Шерлока Холмса. Вывод: идея фиксированной стоимости памяти хорошая, но в тестах автора модель запоминает общий смысл и теряет точные факты, поэтому для продакшена безопаснее пока обычный RAG, а Memorilla интересна как исследовательский чекпоинт с возможностью дообучения на своих данных.

Практика

Что получишь
Понять, какие обещания Memorilla подтверждаются, а какие нет, и почему для точных фактов лучше сочетать её с RAG или дообучать модуль на своих данных.
Первый шаг
Клонировать репозиторий Memorilla и прогнать пример из README на арендованном GPU, прежде чем добавлять свои данные.
Цифры
  • —16 токенов — сколько памяти Memorilla отдаёт модели при любом объёме документов
  • —128 000 токенов — объём истории из 512 сообщений, при котором полный контекст отвечал больше 19 секунд
  • —3,2 секунды — время Memorilla с учётом эмбеддингов на 512 документах, примерно в шесть раз быстрее полного контекста
  • —1 из 8 — столько правильных ответов дал Memorilla на вопросах по «Собаке Баскервилей»
Честно
Это контент канала Better Stack: в конце автор просит лайк, подписку и оставляет ссылку на свой код в GitHub, но платных продуктов не рекламирует. Команды запуска и графики измерений показываются на экране, в пересказе их нет, а тесты проведены автором на вымышленных данных и не гарантируют результат на ваших.
Если слова незнакомы — 6 терминов

Компоненты

7 шт.

Формат: обзор · для практикующих · уверенность разметки 0.9 · источник