WhisperChain: инструмент транскрипции речи в реальном времени, превращающий разговорную речь в формальный текст 170

Что такое WhisperChain?

WhisperChain — это инструмент для транскрипции речи в реальном времени со встроенной функцией редактирования, который особенно хорошо подходит для таких сценариев, как ведение протоколов совещаний и создание голосовых заметок. Он автоматически убирает слова-паразиты, делая разговорные выражения более формальными и лаконичными, при этом сохраняя основной смысл.

Например, вы говорите: «Эта штука продаётся очень хорошо, заработали кучу денег, клиенты довольны...», а он преобразует это в: «Продукт демонстрирует отличные показатели на рынке, приносит значительный доход и получает широкое одобрение клиентов».

Обработанный текст сразу сохраняется в буфер обмена — в любой момент можно вставить его куда угодно, что очень удобно.

Функциональные возможности WhisperChain

• Распознавание речи в реальном времени: WhisperChain использует Whisper.cpp для распознавания речи в реальном времени, что позволяет мгновенно преобразовывать голосовой контент в текст.

• Очистка транскрипции: текст после транскрипции очищается с помощью LangChain, что повышает читаемость и точность текста.

• Поддержка глобальных горячих клавиш: пользователи могут использовать глобальные горячие клавиши (по умолчанию —

• Автоматическая интеграция с буфером обмена: результат транскрипции автоматически сохраняется в буфер обмена, и пользователь может вставить его в любой момент.

Архитектура проекта WhisperChain

Архитектура WhisperChain включает клиентские компоненты (такие как отслеживание горячих клавиш, аудиопоток, интеграция с буфером обмена), веб-интерфейс (Streamlit) и серверную часть (FastAPI). Аудиопоток передаётся на сервер через WebSocket, после распознавания моделью Whisper и обработки LangChain на выход подаётся очищенный текст.

Сценарии использования WhisperChain

• Совещания и лекции: во время совещания или лекции речь в реальном времени преобразуется в текст, что удобно для ведения записей.

• Голосовые ассистенты: голосовые ассистенты точнее понимают команды, что повышает удобство использования.

• Медицинские записи: врачи и медсёстры могут голосом вводить данные о пациентах, экономя время и повышая эффективность.

• Клиентская поддержка: голосовые обращения клиентов преобразуются в текст, что позволяет операторам быстро и точно отвечать.

Установка и настройка

Системные требования: требуется Python 3.8+ и ключ API OpenAI. Для macOS также необходимо установить ffmpeg и portaudio.

Способ установки: установите WhisperChain через pip:

pip install whisperchain

Настройка: при первом запуске система предложит ввести ключ API OpenAI и сохранит его в файле ~/.whisperchain/.env.

Как пользоваться

Запуск приложения:

whisperchain

Или запуск с собственным файлом конфигурации:

whisperchain --config config.json

Используйте глобальную горячую клавишу, чтобы начать запись, говорите, а после отпускания клавиши результат транскрипции будет автоматически скопирован в буфер обмена.

Репозиторий на GitHub: https://github.com/chrischoy/WhisperChain