Сжатая модель речи: 178 МБ вместо 1,2 ГБ

Что в ролике
Модель Parakeet Redux от Moonream — это Nvidia Parakeet 6B V3, у которой каждый вес энкодера сжат до одного из трёх значений: минус один, ноль или плюс один. Из-за этого размер падает с 1,2 гигабайта до 178 мегабайт, а точность на английском ухудшается незначительно: word error rate растёт с 6,26 до 6,55, а мультиязычный показатель и длинные разговоры даже улучшаются. Модель поддерживает 25 европейских языков, определяет язык сама и умеет отдавать посегментные или пословные таймстемпы для субтитров. На CPU M2 MacBook Air она работает в 38 раз быстрее реального времени против 12 у Parakeet CPP, а на GPU разрыв почти исчезает: 43 против 38–39 у открытых альтернатив. Стриминг с микрофона даёт первый результат через пару секунд и обновляет его каждые две, но каждое обновление заменяет предыдущее, поэтому при дописывании легко размножить одни и те же фразы. Главный подводный камень — веса открыты под Creative Commons, но рантайм Photon и пакет Kestrel Kernels закрыты, а их лицензия требует какого-то соглашения, которого автор не смог найти; Moonream продаёт облачный тариф примерно за 350 долларов в месяц. На зашумлённом аудио word error rate прыгает с 6,72 до 9, поэтому для шумных записей автор советует остаться на оригинальном Parakeet.
Практика
- Что получишь
- Понять, стоит ли заменять Whisper или Parakeet на сжатую модель для локальной транскрипции: где она выигрывает по размеру и CPU-скорости, а где упирается в закрытый рантайм и шум.
- Первый шаг
- Поставить пакет через pip и запустить модель на своём аудио, чтобы сравнить word error rate и скорость на своей машине, а не по цифрам из карточки.
- Цифры
- —178 мегабайт вместо 1,2 гигабайта — размер модели после сжатия весов
- —6,26 → 6,55 — word error rate на английском до и после сжатия
- —38x против 12x — скорость на CPU M2 MacBook Air у Redux и Parakeet CPP
- —9 против 6,72 — word error rate на зашумлённом аудио у Redux и оригинала
- Честно
- Автор — канал Better Stack и в конце просит подписаться, но продукт не продаёт. Основная оговорка: веса модели открыты, а движок Photon и Kestrel Kernels — закрытые, и их лицензия отсылает к некоему соглашению, текст которого автор не нашёл. Все цифры скорости взяты из карточки модели и тестов Moonream, поэтому на вашем железе могут отличаться, а стриминг с микрофона требует осторожности с повторяющимися результатами.
Если слова незнакомы — 3 терминов
- word error rateдоля неправильно распознанных слов, стандартная метрика точности распознавания речи
- открытые весафайлы обученной модели, которые можно скачать и использовать, в отличие от закрытого кода движка
- рантаймпрограмма, которая исполняет модель на вашем железе
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 2:01.
Связки из этого ролика
2 шт.- Parakeet Redux + Photon + Kestrel Kernels
- Whisper CPP + Whisper Large V3 Turbo
Компоненты
11 шт.Цитаты-доказательства
дословно из субтитровФормат: обзор · для практикующих · уверенность разметки 0.86 · источник