AudioNotes : un système basé sur FunASR et Qwen2 pour transformer audio/vidéo en notes structurées 133

AudioNotes est un système open source de conversion audio/vidéo en notes structurées, basé sur FunASR et Qwen2. Il permet d'extraire rapidement le contenu audio et vidéo, puis de faire appel à un grand modèle de langage pour l'organiser en une note structurée au format Markdown, facilitant ainsi une lecture rapide.

Voici comment l'utiliser :

1. Préparation de l'environnement

Avant de commencer, assurez-vous que Docker et Ollama sont installés sur votre ordinateur. Ollama est un outil permettant de gérer et d'exécuter des modèles d'apprentissage automatique.

2. Cloner le projet

Utilisez la commande Git pour cloner le projet AudioNotes en local :

git clone https://github.com/harry0703/AudioNotes.git

3. Installer les dépendances

Entrez dans le répertoire du projet et installez les dépendances nécessaires. En général, le projet fournit les instructions d'installation dans le fichier README.

4. Déployer le service

Utilisez Docker pour déployer le service AudioNotes. Vous pouvez démarrer le service avec la commande suivante :

docker-compose up

Cela lancera tous les services nécessaires et s'assurera qu'ils fonctionnent correctement.

5. Utiliser le modèle pour extraire le contenu

Une fois le service en cours d'exécution, vous pouvez télécharger vos fichiers audio ou vidéo vers AudioNotes via une API ou un outil en ligne de commande. Le projet prend en charge plusieurs formats audio et vidéo ; assurez-vous que vos fichiers respectent les exigences.

6. Générer la note au format Markdown

Une fois le contenu audio/vidéo extrait, AudioNotes fait appel à un grand modèle de langage pour l'organiser et générer une note structurée au format Markdown. Ces notes contiendront les informations clés et les points essentiels, facilitant ainsi une lecture et une compréhension rapides.

7. Consulter et éditer la note

La note Markdown générée peut être ouverte et éditée dans n'importe quel éditeur de texte prenant en charge le format Markdown. Vous pouvez la modifier et l'enrichir selon vos besoins.

Une fois l'installation terminée, l'effet est le suivant :

En suivant ces étapes, vous pouvez utiliser efficacement le projet AudioNotes pour extraire le contenu audio et vidéo et l'organiser en notes Markdown structurées, améliorant ainsi votre productivité dans vos apprentissages et votre travail.

GitHub :https://github.com/harry0703/AudioNotes