К содержимому
Дайджест

Дуплексный голосовой AI на 35B-модели и одной RTX 3060

Codacus·12 октября 2026·18:30
текст даёт основное можно повторить
Открыть на YouTube
Разбор того, как заставить обычную локальную 35B-модель говорить и слушать одновременно без обучения новой модели, — для тех, кто собирает голосовых ассистентов дома на доступном железе.

Что в ролике

Локальная текстовая LLM на 35B может говорить и слушать одновременно, если разбить разговор на микро-ходы по 600 миллисекунд: каждые 600 мс распознанная речь или тег «нет голоса» уходит в модель, а она отвечает либо следующими словами, либо тегом listen, который означает молчание. Такой цикл без VAD описан в статье duplex cascade, и его можно запустить на обычной модели, которую вы уже используете. Промпт даёт лишь частичное поведение: после 30 ходов модель начинает бесконечно писать listen, а чистка истории ломает кеш и увеличивает время ответа за пределы 600 мс. Автор дообучил LoRA на последних четырёх слоях 35B-модели Qwen на двух RTX 3060 по 12 ГБ: первые 36 слоёв он прогнал через llama.cpp один раз и сохранил их выход на диск, тренировал только верхние слои в PyTorch, каждая итерация занимала около 90 минут. Данные сгенерированы другой моделью: несколько сотен диалогов нарезаны на 600-миллисекундные реплики с паузами, перебиваниями и ошибками распознавания. Проблемы решались балансировкой датасета и внешним правилом: если вероятность токена listen ниже 30%, его убирают из выбора, и модель обязана сказать слово, иначе она замолкала после трёх слов. В итоге на одной RTX 3060 ход занимает 240 мс, из 500 тестовых предложений осталось два незавершённых, но первый ответ начинается через 3 секунды, а опасные планы модель прерывает в 6 случаях из 10. По Voicebench связка speech-to-text и 7B текстовой LLM набирает около 70 баллов, тогда как открытые дуплексные модели — около 30, поэтому подход сохраняет качество основной модели.

Практика

Что получишь
Рабочую схему микро-ходов по 600 мс, способ дообучения LoRA на последних слоях, которая помещается на две видеокарты по 12 ГБ, и правило порога для токена listen, чтобы локальная 35B-модель слушала и говорила без VAD.
Первый шаг
Собрать цикл из speech-to-text, LLM и text-to-speech, где каждые 600 мс модель получает новый фрагмент и должна ответить словами или тегом listen.
Цифры
  • —600 миллисекунд — длина каждого микро-хода, на которые режется разговор
  • —3,88 миллиона параметров — размер LoRA, дообученной поверх 35B-модели
  • —240 миллисекунд — столько занимает один ход модели на одной RTX 3060 после оптимизации
  • —6 из 10 — в таком числе случаев пятый прогон прерывает пользователя с опасным планом
Честно
Автор просит подписаться и обещает выложить LoRA на Hugging Face, но на момент ролика файла ещё нет; ссылка на статью в описании. Готовый датасет не приложен: обучающие диалоги сгенерированы другой моделью, поэтому для повторения придётся собрать или сгенерировать свои 600-миллисекундные срезы. Код и точные настройки обучения показаны на экране, но в пересказе их нет.
Если слова незнакомы — 5 терминов

Связки из этого ролика

3 шт.

Компоненты

8 шт.

Формат: сборка на живом примере · для продвинутых · уверенность разметки 0.85 · источник