Phon 2: локальное распознавание речи на 164 МБ

Что в ролике
Модель распознавания речи Phon 2 от небольшой лаборатории Firmion Research занимает 164 мегабайта и транскрибирует час английского аудио за 21 секунду на MacBook Air M5 без интернета. Она сжата из двух с половиной гигабайтной модели Nvidia Parakeet за счёт переобученного кодера, где каждый вес использует одно из пяти значений, то есть около 2,1 бита на вес. Автор показывает установку через Python и запуск команды phon transcribe, а также live-режим phon listen для субтитров с микрофона и сервер phon serve с OpenAI-совместимым API на порту 8000. По собственным замерам лаборатории средний процент ошибок WER составил 5,21 против 5,69 у Redux и 6,58 у Whisper Turbo, но независимый Open ASR leaderboard дал Phon 2 уже 7,23 против 6,51 у оригинальной Nvidia-модели и 8,39 у Whisper Turbo. Заявленное шестикратное превосходство над Redux автор ставит под сомнение, потому что Redux тестировался через сторонний порт Fluid Audio, где скорость упала до 27,8 реального времени, тогда как Redux у MoonDream на старом M2 достигает 38–43 кратной скорости. Phon 2 выигрывает не во всех тестах: Whisper Turbo лучше на шумной речи и ещё двух наборах, а Redux опережает Phon 2 на AMI с 9,16 против 9,37. Код и CLI открыты по лицензии Apache, веса — по Creative Commons с указанием авторства, коммерческое использование разрешено, но проекту около шести недель, а основной реальный пользователь — собственное приложение лаборатории. Практический вывод автора: для английского аудио на Apple Silicon это хороший вариант для экспериментов, но переводить продакшен с Whisper пока не стоит.
Практика
- Что получишь
- Понимание, насколько 164-мегабайтная модель Phon 2 пригодна для локальной английской транскрипции, и готовые команды для запуска транскрипции, субтитров и локального API.
- Первый шаг
- Создайте виртуальное окружение Python 3.10+, установите пакет firmion-research с MLX и выполните phon transcribe на своём аудиофайле.
- Цифры
- —21 секунда — время транскрипции часа аудио на MacBook Air M5
- —164 мегабайта — размер загрузки Phon 2
- —5,21 — средний WER по тестам лаборатории против 6,58 у Whisper Turbo
- —27,8 — скорость Redux в стороннем порту Fluid Audio, из-за которой сравнение шестикратной скорости сомнительно
- Честно
- Почти все цифры в начале видео взяты из материалов самой лаборатории Firmion, а независимый лидерборд показывает более скромные результаты по точности. Прямого сравнения Phon 2 и Redux на независимом лидерборде нет, а тест шестикратного превосходства, по мнению автора, некорректен из-за медленного порта Fluid Audio. Значения задержки стриминга в ролике не проверены, а команды и интерфейс показаны на экране.
Если слова незнакомы — 2 терминов
- WERпроцент ошибок распознавания: сколько слов модель перепутала или пропустила
- OpenAI-совместимый APIтот же формат запросов, что у платного API OpenAI, поэтому код можно переключить на локальный сервер без переписывания
Связки из этого ролика
4 шт.- Python 3.10 + MLX
- Whisper CPP + Metal
- macOS + Apple Silicon
- OpenAI API + local server
Компоненты
8 шт.Формат: обзор · для практикующих · уверенность разметки 0.88 · источник