Диктовка с AssemblyAI: чистый текст и структура вывода

Что в ролике
Автор показывает, как собрать десктопное приложение для голосового ввода, которое по горячей клавише записывает речь и вставляет готовый текст в любое поле. В основе — dictation API от AssemblyAI, который возвращает не дословную транскрипцию, а очищенный текст без слов-паразитов и оговорок. Демонстрируется пример: автор говорит «Monday, actually Wednesday», а в результате остаётся только Wednesday. Можно задать ключевые термины, промпт-контекст и LLM-инструкции, чтобы API правильно распознавал жаргон, например «insertion target» после добавления в список терминов. Также есть режимы структурирования: режим кодинг-промпта превращает речь в структурированное задание с требованиями, а режим списка задач — в буллеты. Помимо dictation API, у AssemblyAI есть синхронное и потоковое распознавание, а также инструменты для звонков и медицинской транскрипции. Автор показывает playground с возможностью загрузить аудио и настроить формат, а также open-source приложение Blurt как стартовую основу.
Практика
- Что получишь
- Понимание, как подключить AssemblyAI для диктовки и получить очищенный текст с нужной структурой: от простого ввода до кодинг-промптов и списков задач.
- Первый шаг
- Зарегистрироваться в AssemblyAI, открыть playground и попробовать загрузить свой аудиофрагмент с инструкцией форматирования.
- Цифры
- —3 настройки отправляются в запросе к dictation API: ключевые термины, промпт и LLM-инструкции
- —1 вызов API нужен, чтобы получить очищенный текст и сырую транскрипцию одновременно
- —2 режима вывода показаны в приложении: кодинг-промпт и список задач
- Честно
- Видео спонсировано AssemblyAI, и автор прямо это указывает. В ролике показаны только фрагменты кода приложения, а полный исходник недоступен, но есть open-source приложение Blurt на GitHub от AssemblyAI, которое можно использовать как основу. Для повторения потребуется API-ключ и оплата использования AssemblyAI, если выйдете за бесплатный лимит.
Если слова незнакомы — 4 терминов
- dictation APIинтерфейс для диктовки, который возвращает очищенный текст вместо дословной транскрипции
- промпт-контекстдополнительные указания или контекст, которые помогают модели точнее обработать речь
- LLM-инструкцииинструкции для языковой модели, задающие, как переработать транскрипцию
- кодинг-промптструктурированный запрос для генерации кода, с задачей и требованиями
Понадобится экран
Часть информации есть только на экране (код в терминале). Открыть на YouTube с 5:53.
Связки из этого ролика
3 шт.- Next.js
- Vue
- TypeScript
Компоненты
5 шт.Цитаты-доказательства
дословно из субтитров- So, in the code, like I said, it's a desktop application. We just have to register a hot key.5:53
- With that request, we sent along three configuration options.6:37
- There is existing APIs on your computer that you can hook into.6:12
- So, here in my app, I can specify the the words that it should pay attention to, essentially.6:41
Формат: пошаговый урок · для практикующих · уверенность разметки 0.9 · источник