AudioNotes: система на базе FunASR и Qwen2 для преобразования аудио/видео в структурированные заметки 137

AudioNotes — это система с открытым исходным кодом для преобразования аудио и видео в структурированные заметки, построенная на базе FunASR и Qwen2. Она способна быстро извлекать содержимое аудио и видео, а затем с помощью большой языковой модели оформлять его в структурированные заметки в формате Markdown, что удобно для быстрого чтения.

Ниже приведена инструкция по использованию:

1. Подготовка окружения

Прежде чем начать, убедитесь, что на вашем компьютере установлены Docker и Ollama. Ollama — это инструмент для управления и запуска моделей машинного обучения.

2. Клонирование проекта

Используйте команду Git, чтобы клонировать проект AudioNotes на локальный компьютер:

git clone https://github.com/harry0703/AudioNotes.git

3. Установка зависимостей

Перейдите в каталог проекта и установите необходимые зависимости. Как правило, инструкции по установке приведены в файле README проекта.

4. Развёртывание сервиса

Разверните сервис AudioNotes с помощью Docker. Запустить сервис можно следующей командой:

docker-compose up

Эта команда запустит все необходимые сервисы и обеспечит их корректную работу.

5. Использование модели для извлечения содержимого

После запуска сервиса вы можете загружать аудио- и видеофайлы в AudioNotes через API или инструменты командной строки. Проект поддерживает множество аудио- и видеоформатов — убедитесь, что ваши файлы соответствуют требованиям.

6. Создание заметок в формате Markdown

После извлечения содержимого аудио или видео AudioNotes вызывает большую языковую модель для его систематизации и создаёт структурированные заметки в формате Markdown. Эти заметки содержат ключевую информацию и основные тезисы, что удобно для быстрого чтения и понимания.

7. Просмотр и редактирование заметок

Сгенерированные заметки в формате Markdown можно открывать и редактировать в любом текстовом редакторе, поддерживающем этот формат. При необходимости вы можете дополнить и доработать содержимое заметок.

После установки результат выглядит следующим образом:

Следуя описанным выше шагам, вы сможете эффективно использовать проект AudioNotes для извлечения содержимого из аудио и видео и оформления его в структурированные заметки в формате Markdown, повышая эффективность учёбы и работы.

GitHub: https://github.com/harry0703/AudioNotes