AudioNotes: Ein System auf Basis von FunASR und Qwen2 zur Umwandlung von Audio/Video in strukturierte Notizen 135

AudioNotes ist ein auf FunASR und Qwen2 basierendes Open-Source-System, das Audio- und Videoinhalte in strukturierte Notizen umwandelt. Es kann schnell Inhalte aus Audio- und Videodateien extrahieren und mithilfe eines großen Sprachmodells in eine strukturierte Markdown-Notiz umwandeln, die ein schnelles Lesen ermöglicht.

Nachfolgend die Verwendung:

1. Vorbereitung der Umgebung

Bevor Sie beginnen, stellen Sie sicher, dass Docker und Ollama auf Ihrem Computer installiert sind. Ollama ist ein Tool zur Verwaltung und zum Ausführen von Machine-Learning-Modellen.

2. Projekt klonen

Verwenden Sie den Git-Befehl, um das AudioNotes-Projekt lokal zu klonen:

git clone https://github.com/harry0703/AudioNotes.git

3. Abhängigkeiten installieren

Wechseln Sie in das Projektverzeichnis und installieren Sie die erforderlichen Abhängigkeiten. In der Regel enthält die README-Datei des Projekts die Installationsanleitung.

4. Dienste bereitstellen

Stellen Sie den AudioNotes-Dienst mit Docker bereit. Sie können den Dienst mit dem folgenden Befehl starten:

docker-compose up

Dadurch werden alle erforderlichen Dienste gestartet und sichergestellt, dass sie ordnungsgemäß funktionieren.

5. Inhalte mit dem Modell extrahieren

Nachdem der Dienst ausgeführt wird, können Sie Audio- und Videodateien über die API oder das Kommandozeilen-Tool in AudioNotes hochladen. Das Projekt unterstützt verschiedene Audio- und Videoformate. Stellen Sie sicher, dass Ihre Dateien den Anforderungen entsprechen.

6. Markdown-Notizen generieren

Sobald die Audio- und Videoinhalte extrahiert wurden, ruft AudioNotes ein großes Sprachmodell auf, um sie aufzubereiten und strukturierte Markdown-Notizen zu erstellen. Diese Notizen enthalten die wichtigsten Informationen und Kernpunkte und ermöglichen ein schnelles Lesen und Verstehen.

7. Notizen anzeigen und bearbeiten

Die generierten Markdown-Notizen können in jedem Texteditor, der das Markdown-Format unterstützt, geöffnet und bearbeitet werden. Sie können die Notizen nach Bedarf weiter anpassen und vervollständigen.

Nach der Installation sieht das Ergebnis wie folgt aus:

Mit den oben genannten Schritten können Sie das AudioNotes-Projekt effizient nutzen, um Audio- und Videoinhalte zu extrahieren und in strukturierte Markdown-Notizen umzuwandeln, um Ihre Lern- und Arbeitseffizienz zu steigern.

GitHub:https://github.com/harry0703/AudioNotes