Aero-1-Audio: un modelo de audio compacto de LMMs-Lab 57

¿Qué es Aero-1-Audio?

Aero-1-Audio es un modelo de audio compacto desarrollado por LMMs-Lab, construido sobre el modelo de lenguaje Qwen-2.5-1.5B, con 2.42 mil millones de parámetros y licenciado bajo MIT. Puede manejar de manera eficiente múltiples tareas de audio, siendo adecuado para escenarios con recursos limitados que requieren funciones de procesamiento de audio de alta calidad, como asistentes de voz en teléfonos móviles, sistemas de grabación y transcripción de reuniones, o transcripción de voz en tiempo real en clases, entre otros.

Características del modelo Aero-1-Audio

• Alto rendimiento: Aero-1-Audio está basado en Qwen-2.5-1.5B. Aunque su escala de parámetros es pequeña, destaca en múltiples pruebas de referencia de audio e incluso supera a muchos modelos de ia más grandes, como Whisper, Qwen-2-Audio y ElevenLabs/Scribe.

• Alta eficiencia de entrenamiento: El modelo Aero-1-Audio se entrenó en solo un día utilizando 16 GPU H100, con aproximadamente 5 mil millones de tokens (equivalentes a 50,000 horas de audio) de datos filtrados de alta calidad.

• Gran capacidad de procesamiento de audio largo: Aero-1-Audio puede procesar entradas de audio continuas de hasta 15 minutos sin necesidad de segmentación, algo poco común en los modelos de audio actuales.

Evaluación de rendimiento

• Tareas de reconocimiento de voz: En conjuntos de datos como AMI, LibriSpeech y SPGISpeech, Aero-1-Audio presenta la menor tasa de error de palabras (WER). En pruebas de ASR de voz larga, muestra la menor degradación de rendimiento.

• Tareas de comprensión de audio: En múltiples dimensiones como análisis y comprensión de audio, seguimiento de instrucciones de voz y comprensión de escenas de audio, Aero-1-Audio ofrece un rendimiento destacado, superando o igualando a otros modelos grandes.

Ventajas técnicas

• Tamaño de lote dinámico: Aero-1-Audio utiliza una estrategia de procesamiento por lotes dinámica basada en la longitud de tokens, mejorando la utilización de los recursos computacionales.

• Empaquetado de secuencias: Mediante la técnica de empaquetado de secuencias combinada con la fusión de kernels de Liger, la utilización promedio de FLOP del modelo (MFU) aumentó de 0.03 a 0.34, mejorando la eficiencia del entrenamiento.

Escenarios de aplicación de Aero-1-Audio

Aero-1-Audio se aplica en sectores como la educación, la medicina y el entretenimiento, por ejemplo, para generar automáticamente notas de conferencias, ayudar a los médicos a registrar historiales clínicos o generar subtítulos de vídeo en tiempo real.

Cómo usar Aero-1-Audio

• Instalación de dependencias: Es necesario instalar una versión específica de la biblioteca transformers, con el comando python3 -m pip install transformers@git+https://github.com/huggingface/[email protected].

• Demostración sencilla: Mediante la importación de las bibliotecas y funciones correspondientes, la carga del audio y el uso de las clases AutoProcessor y AutoModelForCausalLM, se construye la entrada y se genera la salida para implementar el procesamiento de audio, como la transcripción de audio.

• Inferencia por lotes: Similar a la demostración sencilla, permite procesar múltiples audios; es necesario ajustar el formato de los datos de entrada y la configuración de parámetros, como establecer la dirección de relleno, entre otros.

Preguntas frecuentes

Pregunta: ¿En qué aspectos destacan las ventajas de Aero-1-Audio en comparación con otros modelos de audio grandes?

Respuesta: Aero-1-Audio utiliza los parámetros de manera más eficiente; la cantidad de datos de entrenamiento es más de 100 veces menor que la de modelos como Qwen-Omni y Phi-4, pero su rendimiento sigue siendo competitivo. Además, puede procesar con precisión entradas de audio continuas de hasta 15 minutos, algo poco frecuente en otros modelos.

Pregunta: ¿Qué preparativos se deben realizar antes de utilizar el modelo Aero-1-Audio para la inferencia?

Respuesta: Es necesario instalar una versión específica de la biblioteca transformers, con el comando python3 -m pip install transformers@git+https://github.com/huggingface/[email protected]. Para mejorar el rendimiento, se puede instalar flash-attn con el comando pip install --no-build-isolation flash-attn; si no se desea usar flash attn, también se puede optar por sdpa o eager.

Pregunta: ¿Qué características tienen los datos de entrenamiento de Aero-1-Audio?

Respuesta: Los datos de entrenamiento provienen de más de 20 conjuntos de datos públicos, con aproximadamente 5 mil millones de tokens, equivalentes a unas 50,000 horas de datos de audio. En comparación con otros modelos, la cantidad de datos de entrenamiento es menor pero la eficiencia de las muestras es alta, lo que permite al modelo alcanzar un rendimiento competitivo con una menor cantidad de datos.

HuggingFace:https://huggingface.co/lmms-lab/Aero-1-Audio