К содержимому
Дайджест

Модель Whistle на ESP32: офлайн-распознавание речи

Better Stack·19 октября 2026·12:35
текст даёт основное можно повторить пошагово
Открыть на YouTube
Демонстрация и технический разбор запуска модели распознавания речи Whistle на микроконтроллере ESP32-S3, полезно тем, кто встраивает голосовые команды в железо.

Что в ролике

Чтобы встроить голосовые команды в крошечное железо, автор показывает модель Whistle от Cactus Compute: это один файл на 16,9 МБ, понимающий семь языков, и он почти в девять раз меньше Whisper Base при лучших результатах на LibriSpeech. Автор берёт плату ESP32-S3 с 16 МБ флеша, куда полная модель не влезает, и обрезает декодер с восьми до четырёх слоёв по «лестнице интеллекта», оставляя 98 КБ свободного места; энкодер при этом не урезается. Он собирает офлайн-устройство с микрофоном INMP441 и кнопкой, а вместо Needle пишет парсер, который достаёт из транскрипта цвет и команду для RGB-светодиода. После оптимизации матричных вычислений под 8-битные целые числа и оба ядра чипа команда «flash the light blue» обрабатывается за 8,8 секунды, французская фраза — за 11,7, а средний отклик четырёхслойной версии около 10 секунд. На синтетических тестах английские цветовые команды распознаются верно в 78% случаев, а короткие фразы вроде «make it red» дают 82–93% точности, тогда как одиночное слово «red» — только 44%. Обрезанная версия на чипе обгоняет полную модель Cactus на цветовых командах за счёт подсказок списка цветов и повторной попытки на другом языке. Модель выпущена под лицензией Apache 2.0 и лежит на HuggingFace.

Практика

Что получишь
Вы получите готовую схему и подход: как обрезать Whistle до четырёх слоёв декодера, собрать ESP32-S3 с микрофоном INMP441 и добиться ответа за 8–11 секунд. Плюс узнаете, почему короткие фразы распознаются лучше одиночных слов и как улучшить точность цветовых команд.
Первый шаг
Скачайте репозиторий по ссылке в описании, загрузите прошивку на ESP32-S3 и соберите плату с микрофоном INMP441 и кнопкой, следуя схеме.
Цифры
  • —16,9 МБ — размер файла модели Whistle, почти в 9 раз меньше Whisper Base
  • —8,8 секунды — столько заняла обработка команды «flash the light blue» на ESP32-S3
  • —78% — точность английских цветовых команд на синтетических тестах
  • —44% — точность распознавания одиночного слова «red»; короткие фразы дают 82–93%
Честно
Рекламы сторонних продуктов нет, но в конце автор просит лайк и подписку на канал Better Stack; исходники лежат в открытом GitHub-репозитории по ссылке в описании. Цифры точности получены на синтетических тестовых голосах, поэтому на живой речи результат может отличаться. Для повторения нужен паяльник, плата ESP32-S3, микрофон INMP441 и сборка прошивки — подробная инструкция есть только в репозитории, а в ролике показаны ключевые шаги.
Если слова незнакомы — 3 терминов

Связки из этого ролика

1 шт.

Компоненты

3 шт.

Формат: сборка на живом примере · для продвинутых · уверенность разметки 0.8 · источник