Дуплексный голосовой AI на 35B-модели и одной RTX 3060

Что в ролике
Локальная текстовая LLM на 35B может говорить и слушать одновременно, если разбить разговор на микро-ходы по 600 миллисекунд: каждые 600 мс распознанная речь или тег «нет голоса» уходит в модель, а она отвечает либо следующими словами, либо тегом listen, который означает молчание. Такой цикл без VAD описан в статье duplex cascade, и его можно запустить на обычной модели, которую вы уже используете. Промпт даёт лишь частичное поведение: после 30 ходов модель начинает бесконечно писать listen, а чистка истории ломает кеш и увеличивает время ответа за пределы 600 мс. Автор дообучил LoRA на последних четырёх слоях 35B-модели Qwen на двух RTX 3060 по 12 ГБ: первые 36 слоёв он прогнал через llama.cpp один раз и сохранил их выход на диск, тренировал только верхние слои в PyTorch, каждая итерация занимала около 90 минут. Данные сгенерированы другой моделью: несколько сотен диалогов нарезаны на 600-миллисекундные реплики с паузами, перебиваниями и ошибками распознавания. Проблемы решались балансировкой датасета и внешним правилом: если вероятность токена listen ниже 30%, его убирают из выбора, и модель обязана сказать слово, иначе она замолкала после трёх слов. В итоге на одной RTX 3060 ход занимает 240 мс, из 500 тестовых предложений осталось два незавершённых, но первый ответ начинается через 3 секунды, а опасные планы модель прерывает в 6 случаях из 10. По Voicebench связка speech-to-text и 7B текстовой LLM набирает около 70 баллов, тогда как открытые дуплексные модели — около 30, поэтому подход сохраняет качество основной модели.
Практика
- Что получишь
- Рабочую схему микро-ходов по 600 мс, способ дообучения LoRA на последних слоях, которая помещается на две видеокарты по 12 ГБ, и правило порога для токена listen, чтобы локальная 35B-модель слушала и говорила без VAD.
- Первый шаг
- Собрать цикл из speech-to-text, LLM и text-to-speech, где каждые 600 мс модель получает новый фрагмент и должна ответить словами или тегом listen.
- Цифры
- —600 миллисекунд — длина каждого микро-хода, на которые режется разговор
- —3,88 миллиона параметров — размер LoRA, дообученной поверх 35B-модели
- —240 миллисекунд — столько занимает один ход модели на одной RTX 3060 после оптимизации
- —6 из 10 — в таком числе случаев пятый прогон прерывает пользователя с опасным планом
- Честно
- Автор просит подписаться и обещает выложить LoRA на Hugging Face, но на момент ролика файла ещё нет; ссылка на статью в описании. Готовый датасет не приложен: обучающие диалоги сгенерированы другой моделью, поэтому для повторения придётся собрать или сгенерировать свои 600-миллисекундные срезы. Код и точные настройки обучения показаны на экране, но в пересказе их нет.
Если слова незнакомы — 5 терминов
- LLMбольшая языковая модель, которая пишет текст по входному запросу
- VADдетектор голосовой активности, определяющий, когда человек замолчал
- LoRAлёгкая надстройка для дообучения, меняющая лишь часть слоёв модели
- токенединица текста, на которые модель делит ответ перед выбором
- speech-to-textмодель, переводящая речь в текст
Связки из этого ролика
3 шт.- speech-to-text + LLM + text-to-speech
- LoRA fine-tuning
- llama.cpp + PyTorch
Компоненты
8 шт.Формат: сборка на живом примере · для продвинутых · уверенность разметки 0.85 · источник