К содержимому
Дайджест

NVIDIA Nemotron 3: кто говорит в записи

Sam Witteveen·23 сентября 2026·13:10
текст даёт основное можно повторить
Открыть на YouTube
Обзор новой открытой модели диаризации от NVIDIA для разработчиков, которым нужны размеченные по спикерам транскрипты подкастов и встреч.

Что в ролике

Если транскрипт нужен агенту или заметкам, недостаточно знать, что сказано — нужно понять, кто именно это сказал, иначе все реплики сливаются в одного говорящего. NVIDIA выпустила открытую модель Nemotron 3 Diarization под коммерческой лицензией: около 100 млн параметров, требует всего 4 ГБ видеопамяти и различает до восьми спикеров, включая наложения голосов. Модель работает и в офлайн-режиме для готовых записей, и в потоковом для живых созвонов, и не зависит от выбранной ASR — в примере автор использует Parakeet. В демо на спонсированном NVIDIA DGX Spark он поднимает Docker-контейнер с Nvidia NeMo, который отдаёт диаризацию и две ASR-модели, а фронтенд на Next.js через FastAPI отправляет аудио и показывает результат. После транскрипции в интерфейсе видно каждого спикера, можно вписать настоящие имена и получить статистику по времени, словам и репликам. Часовой подкаст с Дженсеном Хуангом обработался за 148 секунд, и все реплики оказались приписаны нужным людям. Модель приходит на смену старой SortFormer, которая умела только четыре спикера и набрала более 300 000 загрузок за август.

Практика

Что получишь
Локальный пайплайн для транскрипта с разметкой спикеров: можно превращать подкасты и созвоны в текст с именами, статистикой и экспортом в SRT.
Первый шаг
Развернуть Nvidia NeMo в Docker с моделью Nemotron 3 Diarization, поднять FastAPI-эндпоинт и отправить в него аудиозапись.
Цифры
  • —148 секунд — столько заняла диаризация часового подкаста с Дженсеном Хуангом в демо
  • —4 ГБ — минимальная видеопамять GPU для запуска модели
  • —8 спикеров — максимальное число говорящих, которое различает модель
  • —100 млн параметров — размер новой модели без учёта ASR
Честно
Вычислительные мощности для демо предоставлены NVIDIA (DGX Spark), поэтому часть показа — на спонсорском железе, хотя модель открытая и бесплатная для коммерческого использования. Код приложения и готовый интерфейс не выложены: чтобы повторить, придётся самому поднимать контейнер NeMo, FastAPI и фронтенд по тому, что видно на экране. Точные команды и конфиги в видео не показаны, а точность своего демо автор не сравнивает с другими моделями, кроме общих графиков DER.
Если слова незнакомы — 7 терминов

Связки из этого ролика

2 шт.

Компоненты

15 шт.

Формат: сборка на живом примере · для практикующих · уверенность разметки 0.85 · источник