NVIDIA Nemotron 3: кто говорит в записи

Что в ролике
Если транскрипт нужен агенту или заметкам, недостаточно знать, что сказано — нужно понять, кто именно это сказал, иначе все реплики сливаются в одного говорящего. NVIDIA выпустила открытую модель Nemotron 3 Diarization под коммерческой лицензией: около 100 млн параметров, требует всего 4 ГБ видеопамяти и различает до восьми спикеров, включая наложения голосов. Модель работает и в офлайн-режиме для готовых записей, и в потоковом для живых созвонов, и не зависит от выбранной ASR — в примере автор использует Parakeet. В демо на спонсированном NVIDIA DGX Spark он поднимает Docker-контейнер с Nvidia NeMo, который отдаёт диаризацию и две ASR-модели, а фронтенд на Next.js через FastAPI отправляет аудио и показывает результат. После транскрипции в интерфейсе видно каждого спикера, можно вписать настоящие имена и получить статистику по времени, словам и репликам. Часовой подкаст с Дженсеном Хуангом обработался за 148 секунд, и все реплики оказались приписаны нужным людям. Модель приходит на смену старой SortFormer, которая умела только четыре спикера и набрала более 300 000 загрузок за август.
Практика
- Что получишь
- Локальный пайплайн для транскрипта с разметкой спикеров: можно превращать подкасты и созвоны в текст с именами, статистикой и экспортом в SRT.
- Первый шаг
- Развернуть Nvidia NeMo в Docker с моделью Nemotron 3 Diarization, поднять FastAPI-эндпоинт и отправить в него аудиозапись.
- Цифры
- —148 секунд — столько заняла диаризация часового подкаста с Дженсеном Хуангом в демо
- —4 ГБ — минимальная видеопамять GPU для запуска модели
- —8 спикеров — максимальное число говорящих, которое различает модель
- —100 млн параметров — размер новой модели без учёта ASR
- Честно
- Вычислительные мощности для демо предоставлены NVIDIA (DGX Spark), поэтому часть показа — на спонсорском железе, хотя модель открытая и бесплатная для коммерческого использования. Код приложения и готовый интерфейс не выложены: чтобы повторить, придётся самому поднимать контейнер NeMo, FastAPI и фронтенд по тому, что видно на экране. Точные команды и конфиги в видео не показаны, а точность своего демо автор не сравнивает с другими моделями, кроме общих графиков DER.
Если слова незнакомы — 7 терминов
- диаризацияопределение, кто именно говорит в аудиозаписи
- ASRавтоматическое распознавание речи, превращает звук в текст
- офлайн-режимобработка готового файла целиком, когда модель видит весь контекст
- потоковый режимобработка звука на лету с минимальной задержкой для живых созвонов
- параметрыобучаемые коэффициенты нейросети; 100 млн — небольшой размер
- Docker-контейнерупакованное окружение, которое запускает сервис с моделью
- NeMoфреймворк NVIDIA для речевых и языковых моделей
Связки из этого ролика
2 шт.- Next.js + FastAPI + Docker + Tailscale + DGX Spark
- Nvidia Nemo + Parakeet ASR + Neotron 3 diarization
Компоненты
15 шт.Формат: сборка на живом примере · для практикующих · уверенность разметки 0.85 · источник