Своя память для ИИ: локальный Qdrant вместо аренды

Что в ролике
Если ассистент каждый раз начинает с нуля, вы владеете моделью, но не её памятью — именно эту проблему разбирает спикер из Qdrant. По его словам, аренда всего стека уже привела к отключению двух флагманских моделей по требованию властей, тихим деградациям версий и счетам по 5000 долларов в месяц у разработчиков на тарифах за 200 долларов. Решение он видит в локальной векторной базе: движок Qdrant работает прямо в процессе приложения, пишет эмбеддинги с payload и ищет офлайн за доли миллисекунды, а с квантизацией миллион записей помещается меньше чем в гигабайт. В демо на ноутбуке без сети модель детекции объектов распознаёт предметы с дрона, кладёт их в векторное хранилище и за 15 мегабайт сохраняет 92 объекта и 300 векторов. Запрос «журнальный столик» находит все случаи меньше чем за миллисекунду, показывая кадр, первую и последнюю временную метку, описание и число встреч. Та же память может синхронизироваться в облако только по желанию, чтобы семья или рой дронов делились знаниями на своих условиях. Если вести такие записи годами, ассистент начинает ощущаться сверхчеловеческим не из-за модели, а потому что никогда не переставал учиться вам, и главный выбор — кому принадлежит индекс вашей жизни.
Практика
- Что получишь
- Понимание, почему локальная векторная память даёт контроль и непрерывность, и как выглядит готовый стек: Qdrant в приложении плюс эмбеддинги. Сможете прикинуть, сколько места займёт миллион воспоминаний и как устроен офлайн-поиск по ним.
- Первый шаг
- Поднять локальный Qdrant или его встраиваемый движок и записать первые эмбеддинги с полями, чтобы попробовать офлайн-поиск по своим заметкам.
- Цифры
- —2500 долларов — цена машины, на которой уже работает прошлогодний передний край моделей
- —5000 долларов в месяц — столько некоторые разработчики тратят на вычисления при тарифе за 200 долларов
- —15 мегабайт — столько заняла локальная память демо-дрона с 92 объектами и 300 векторами
- —1 миллисекунда — время поиска всех «журнальных столиков» в демо
- Честно
- Доклад продвигает продукт Qdrant, в котором работает спикер, и не является нейтральным обзором альтернатив. Конкретные команды, код демо и значения настроек видны только на экране, в транскрипте их нет. Запуск локального движка из демо требует самостоятельной работы с документацией Qdrant.
Если слова незнакомы — 3 терминов
- эмбеддингичисловые векторы, в которые превращают объекты, чтобы похожие оказывались рядом
- квантизациясжатие чисел с потерей точности, чтобы та же память занимала меньше места
- payloadдополнительные данные, которые хранятся рядом с вектором, например временные метки и описание
Компоненты
2 шт.Формат: other · для практикующих · уверенность разметки 0.85 · источник