К содержимому
Дайджест

Сжатая модель речи: 178 МБ вместо 1,2 ГБ

Better Stack·4 октября 2026·8:08
нужен экран выбрать инструмент
Открыть на YouTube
Обзор и тест открытой speech-to-text модели Parakeet Redux: насколько она меньше и быстрее после сжатия, и какие здесь подводные камни с движком.

Что в ролике

Модель Parakeet Redux от Moonream — это Nvidia Parakeet 6B V3, у которой каждый вес энкодера сжат до одного из трёх значений: минус один, ноль или плюс один. Из-за этого размер падает с 1,2 гигабайта до 178 мегабайт, а точность на английском ухудшается незначительно: word error rate растёт с 6,26 до 6,55, а мультиязычный показатель и длинные разговоры даже улучшаются. Модель поддерживает 25 европейских языков, определяет язык сама и умеет отдавать посегментные или пословные таймстемпы для субтитров. На CPU M2 MacBook Air она работает в 38 раз быстрее реального времени против 12 у Parakeet CPP, а на GPU разрыв почти исчезает: 43 против 38–39 у открытых альтернатив. Стриминг с микрофона даёт первый результат через пару секунд и обновляет его каждые две, но каждое обновление заменяет предыдущее, поэтому при дописывании легко размножить одни и те же фразы. Главный подводный камень — веса открыты под Creative Commons, но рантайм Photon и пакет Kestrel Kernels закрыты, а их лицензия требует какого-то соглашения, которого автор не смог найти; Moonream продаёт облачный тариф примерно за 350 долларов в месяц. На зашумлённом аудио word error rate прыгает с 6,72 до 9, поэтому для шумных записей автор советует остаться на оригинальном Parakeet.

Практика

Что получишь
Понять, стоит ли заменять Whisper или Parakeet на сжатую модель для локальной транскрипции: где она выигрывает по размеру и CPU-скорости, а где упирается в закрытый рантайм и шум.
Первый шаг
Поставить пакет через pip и запустить модель на своём аудио, чтобы сравнить word error rate и скорость на своей машине, а не по цифрам из карточки.
Цифры
  • —178 мегабайт вместо 1,2 гигабайта — размер модели после сжатия весов
  • —6,26 → 6,55 — word error rate на английском до и после сжатия
  • —38x против 12x — скорость на CPU M2 MacBook Air у Redux и Parakeet CPP
  • —9 против 6,72 — word error rate на зашумлённом аудио у Redux и оригинала
Честно
Автор — канал Better Stack и в конце просит подписаться, но продукт не продаёт. Основная оговорка: веса модели открыты, а движок Photon и Kestrel Kernels — закрытые, и их лицензия отсылает к некоему соглашению, текст которого автор не нашёл. Все цифры скорости взяты из карточки модели и тестов Moonream, поэтому на вашем железе могут отличаться, а стриминг с микрофона требует осторожности с повторяющимися результатами.
Если слова незнакомы — 3 терминов

Понадобится экран

Часть информации есть только на экране (код в терминале). Открыть на YouTube с 2:01.

Связки из этого ролика

2 шт.

Компоненты

11 шт.

Цитаты-доказательства

дословно из субтитров

Формат: обзор · для практикующих · уверенность разметки 0.86 · источник