Who и I: голоса в подкасте и сортировка фото

Что в ролике
Если нужно быстро разметить большой подкаст или расчистить фотоархив, две новые локальные AI-модели от Desert Ant Labs делают это без загрузки данных в облако. Модель Who выполняет диаризацию — определяет, кто говорит и когда, но не расшифровывает текст и не знает имён, выдавая номера спикеров и метки времени с точностью до 10 мс. Заявлено, что на M5 Pro она работает в 950 раз быстрее реального времени, а 57-минутный подкаст NASA разметила за 6,4 секунды; в тесте автора на M2 Max запись с четырьмя голосами размечена за 11,9 секунды. На эталонном датасете AMI ошибка Who — 12,6% против 13,1% у PyAnnote, но на звонках о доходности с 20 спикерами она проигрывает: 27,7% против 7,3%. Модель I классифицирует фото одним вызовом: определяет тип — скриншот, чек, документ или обычный снимок, проставляет теги по 558 категориям, оценку эстетики, закрытые глаза и дубликаты. В браузерном демо 105 фотографий разобраны за 16,1 секунды, а заявленная скорость на нейродвижке M6 — 5,5 мс на снимок. Обе модели в бете и под лицензией source-available: бесплатно до 100 000 активных устройств в месяц и с ежемесячной проверкой лицензии.
Практика
- Что получишь
- Вы сможете понять, как без API-затрат и загрузки данных разметить длинную запись по говорящим и расчистить фотоархив, а также где взять готовые приложения для теста.
- Первый шаг
- Начать с GitHub-репозиториев из описания: запустить Who Said What на Mac для аудио или веб-приложение для папки фото.
- Цифры
- —11,9 секунды — столько Who размечал запись с четырьмя спикерами на M2 Max, это 393-кратная скорость реального времени
- —105 фотографий — столько изображений браузерное демо рассортировало за 16,1 секунды
- —27,7% против 7,3% — ошибка Who на звонках о доходности с 20 спикерами по сравнению с PyAnnote
- —100 000 активных устройств в месяц — бесплатный лимит по лицензии Desert Ant Labs
- Честно
- Автор собрал оба приложения сам и показывает только их работу, ссылки на репозитории есть в описании; код и процесс установки в видео не разбираются. Ролик выходит на канале Better Stack, автор просит подписаться и упоминает их подкаст — это контент-маркетинг, прямой рекламы продукта нет. Обе модели в бете и под source-available лицензией: бесплатно до 100 000 активных устройств в месяц, но SDK шлёт ежемесячную проверку лицензии.
Если слова незнакомы — 3 терминов
- диаризацияопределение, кто говорит в аудио и в какие моменты
- source-availableлицензия, при которой исходный код доступен, но не считается открытым ПО и может иметь ограничения
- нейродвижокаппаратный блок Apple Neural Engine для быстрого локального запуска моделей
Связки из этого ролика
2 шт.- Who + Apple built-in speech transcriber
- I + LightRT.js
Компоненты
6 шт.Формат: сборка на живом примере · для практикующих · уверенность разметки 0.85 · источник