AudioNotes: sistema basado en FunASR y Qwen2 para convertir audio/vídeo en notas estructuradas 131

AudioNotes es un sistema de código abierto basado en FunASR y Qwen2 que convierte audio y vídeo en notas estructuradas, capaz de extraer rápidamente el contenido de archivos de audio y vídeo, y que llama a un modelo de lenguaje grande para organizarlo en notas estructuradas en formato markdown, lo que facilita una lectura rápida.

A continuación se muestra cómo usarlo:

1. Preparación del entorno

Antes de comenzar, asegúrate de tener Docker y Ollama instalados en tu equipo. Ollama es una herramienta para gestionar y ejecutar modelos de aprendizaje automático.

2. Clonar el proyecto

Utiliza el comando Git para clonar el proyecto AudioNotes en tu equipo local:

git clone https://github.com/harry0703/AudioNotes.git

3. Instalar dependencias

Entra en el directorio del proyecto e instala las dependencias necesarias. Por lo general, el proyecto proporcionará instrucciones de instalación en el archivo README.

4. Desplegar el servicio

Utiliza Docker para desplegar el servicio de AudioNotes. Puedes iniciar el servicio con el siguiente comando:

docker-compose up

Esto iniciará todos los servicios necesarios, asegurando que funcionen correctamente.

5. Usar el modelo para extraer contenido

Una vez que el servicio esté en ejecución, puedes subir archivos de audio y vídeo a AudioNotes mediante la API o herramientas de línea de comandos. El proyecto admite varios formatos de audio y vídeo; asegúrate de que tus archivos cumplan los requisitos.

6. Generar notas en Markdown

Una vez extraído el contenido de audio y vídeo, AudioNotes llamará al modelo de lenguaje grande para organizarlo y generar notas estructuradas en Markdown. Estas notas contendrán la información clave y los puntos principales, facilitando una lectura y comprensión rápidas.

7. Ver y editar las notas

Las notas en Markdown generadas se pueden abrir y editar en cualquier editor de texto que admita el formato Markdown. Puedes modificarlas y mejorarlas según tus necesidades.

Una vez instalado, el efecto es el siguiente:

Siguiendo los pasos anteriores, puedes utilizar eficientemente el proyecto AudioNotes para extraer contenido de audio y vídeo y organizarlo en notas estructuradas en Markdown, mejorando tu eficiencia de aprendizaje y trabajo.

GitHub：https://github.com/harry0703/AudioNotes