Kitten TTS2: голос за 5 секунд, но лицензия не open source

Что в ролике
Тем, кто помнит Kitten TTS как крошечную Apache-модель, стоит знать: вторая версия — это уже другой проект. Kitten TTS2 клонирует голос по 5-секундной записи, но основная модель разрослась до 1,7 млрд параметров, дефолтная сборка весит около 950 МБ, а веса модели больше не открыты. Генерация состоит из двух этапов: языковая модель превращает текст и образец голоса в аудиотокены, а вокодер S3 Gen из Chatterbox Turbo от Resemble AI превращает их в звук и скачивается при первом запуске. На Mac модель работает только на CPU, потому что код ищет Nvidia-видеокарту, поэтому генерация идёт в 2–3 раза медленнее реального времени. По качеству автор приводит только цифры разработчиков: сходство голоса от 49 до 81 балла на незнакомых записях, независимых тестов нет, а на Hugging Face у версии около 130 загрузок. Лицензия Stellin Labs Community License разрешает исследовательское, некоммерческое и коммерческое использование без роялти, но она отзывная, требует регистрации для коммерции, а для компаний с выручкой или инвестициями выше 1 млн долларов бесплатное коммерческое разрешение прекращается; код пакета Apache 2.0, веса — нет, то есть проект source available, а не open source. Для неанглийских голосов используется один референсный клип, поэтому они хрупкие, длинный текст режется на куски, а заявленный реальный тайм на CPU основан на отдельном C++-порте с нулевыми звёздами и без публичных замеров. Итог автора: для экспериментов и MVP это интересный локальный клонер без поминутной оплаты, но для production пока лучше взять ElevenLabs или альтернативы вроде Vox CPM2.
Практика
- Что получишь
- Понимание, чем Kitten TTS2 отличается от первой версии, как работает клонирование голоса и какие лицензионные ограничения важны перед запуском.
- Первый шаг
- Поставить пакет через pip install kitten-ml на Python 3.10+ и попробовать клонировать свой голос по 5–10-секундной записи.
- Цифры
- —5 секунд — длина аудиозаписи, которой достаточно для клонирования голоса в Kitten TTS2
- —1,7 млрд — количество параметров основной модели Kitten TTS2
- —950 МБ — размер дефолтной сборки весов модели
- —1 млн долларов — порог выручки или привлечённых инвестиций, после которого бесплатное коммерческое использование прекращается
- Честно
- Автор — Better Stack, и в видео он продвигает свой YouTube-канал и подписку. Все оценки качества и скорости взяты из документации разработчиков: независимых тестов нет, на Hugging Face у модели около 130 загрузок, а модель вышла несколько дней назад. Для коммерческого использования нужно связаться со Stellin Labs, при выручке или инвестициях выше 1 млн долларов бесплатное разрешение отзывается, а политика допустимого использования не публична; на Mac модель работает только на CPU и в 2–3 раза медленнее реального времени.
Если слова незнакомы — 5 терминов
- вокодермодель, которая превращает аудиотокены в звуковой сигнал
- аудиотокеныдискретные единицы звука, которые генерирует языковая модель
- веса моделиобученные параметры нейросети, определяющие её работу
- source availableдоступны исходники пакета, но не веса модели под открытой лицензией
- Hugging Faceплощадка, где публикуют модели и наборы данных
Связки из этого ролика
2 шт.- Python 3.10+
- PyTorch
Компоненты
8 шт.Формат: обзор · для практикующих · уверенность разметки 0.87 · источник