К содержимому
Дайджест

Как очистить 80 000 файлов для точного AI-чат-бота

AI Engineer·5 октября 2026·21:37
текст даёт основное можно повторить промо пошагово
Открыть на YouTube
Презентация-демо от DZ Labs о подготовке неструктурированных документов к использованию в AI, ориентированная на дата-инженеров и владельцев чат-ботов.

Что в ролике

Компания North River Manufacturing с 40 000 сотрудников и миллионами документов в SharePoint хочет запустить legal-ops чат-бота, отвечающего по контрактам и соглашениям в реальном времени. Пилот на 40 файлах с парсингом, OCR, эмбеддингами и векторной базой работал, но при переходе к 80 000+ файлов появились дубликаты, устаревшие версии и неясно, где чувствительные данные, поэтому в DZ автоматизировали разметку и фильтрацию. В демо из 339 файлов приложение DZ построило таксономию тегов, AI предложил метаданные и категории, а фильтры свели выборку до 20 релевантных контрактов с объяснением, почему именно эти файлы подходят. Для чувствительности сканируются PII и PHI паттернами с контекстом и AI, причём на конференции в Лондоне система сама определила синтаксис финского национального ID и добавила связанные финские слова. Качество оценивается по дублям, конфликтам и свежести, после чего под конкретный сценарий формируется data slice: в одном примере это 14 юридических файлов с готовым контекстом для чат-бота. Метаданные автоматически обновляются по расписанию через Workflows и SDK, чтобы чат-бот не устаревал и находил новые или удалённые файлы из SharePoint. На тех же задачах многошагового RAG-чата предварительная очистка от дублей и устаревших данных удвоила recall@1 и подняла точность выполнения задач на 10–15%, а если 30% файлов мусорные, то до 80% контекста агента занимают устаревшие фрагменты.

Практика

Что получишь
Поймёте, как автоматически отбирать документы, чистить дубликаты и устаревшие версии, размечать чувствительные данные и поддерживать метаданные чат-бота актуальными.
Первый шаг
Взять свою SharePoint-библиотеку с документами и в DZ создать таксономию с нужными тегами, запустив автоподсказки AI.
Цифры
  • —80 000+ файлов — с таким объёмом SharePoint-документов North River начинаются проблемы поиска, дублей и чувствительных данных
  • —339 файлов в демо DZ, из которых фильтры оставили 20 релевантных юридических документов
  • —30% устаревших или дублирующихся файлов могут занять до 80% контекста агента
  • —2 раза — рост recall@1 на задачах RAG-чата после очистки, плюс 10–15% к точности
Честно
Это презентация вендора DZ Labs, которую купила Calibbra, в конце предлагают бесплатный недельный POC и зовут на стенд. Все демо показывают интерфейс DZ, команды и настройки видны только на экране, готового кода в транскрипте нет. Цифры по улучшению recall и точности — внутренние оценки компании, а не независимый бенчмарк.
Если слова незнакомы — 8 терминов

Связки из этого ролика

5 шт.

Компоненты

4 шт.

Формат: пошаговый урок · для практикующих · уверенность разметки 0.85 · источник