Aero-1-Audio : un modèle audio compact signé LMMs-Lab 61

Qu'est-ce qu'Aero-1-Audio ?

Aero-1-Audio est un modèle audio compact développé par LMMs-Lab, basé sur le modèle de langage Qwen-2.5-1.5B, avec 2,42 milliards de paramètres, sous licence MIT. Il peut traiter efficacement diverses tâches audio et convient aux scénarios où un traitement audio de haute qualité doit être déployé dans des environnements à ressources limitées, comme les assistants vocaux sur smartphone, les systèmes d'enregistrement et de transcription de réunions, ou encore la transcription vocale en temps réel en classe, etc.

Caractéristiques du modèle Aero-1-Audio

• Performance efficace : Aero-1-Audio est basé sur Qwen-2.5-1.5B. Malgré sa taille de paramètres réduite, il obtient d'excellents résultats sur plusieurs benchmarks audio, surpassant même de nombreux modèles d'IA plus volumineux, tels que Whisper, Qwen-2-Audio et ElevenLabs/Scribe.

• Haute efficacité d'entraînement : le modèle Aero-1-Audio a été entraîné en une seule journée sur seulement 16 GPU H100, en utilisant environ 5 milliards de tokens (équivalant à 50 000 heures d'audio) de données filtrées de haute qualité.

• Grande capacité de traitement audio long : Aero-1-Audio peut traiter sans segmentation des entrées audio continues allant jusqu'à 15 minutes, ce qui est relativement rare parmi les modèles audio actuels.

Évaluation des performances

• Tâche de reconnaissance vocale : sur des jeux de données tels qu'AMI, LibriSpeech et SPGISpeech, Aero-1-Audio affiche le taux d'erreur de mots (WER) le plus bas. Dans les tests ASR sur de longs segments vocaux, sa dégradation de performance est la plus faible.

• Tâche de compréhension audio : sur plusieurs dimensions telles que l'analyse et la compréhension audio, le suivi d'instructions vocales et la compréhension de scènes audio, Aero-1-Audio obtient des performances remarquables, surpassant ou égalant d'autres modèles de grande taille.

Avantages techniques

• Taille de lot dynamique : Aero-1-Audio utilise une stratégie de traitement par lots dynamique basée sur la longueur des tokens, améliorant ainsi l'utilisation des ressources de calcul.

• Empaquetage de séquences : grâce à la technique d'empaquetage de séquences combinée à la fusion de noyaux Liger, l'utilisation moyenne des FLOP du modèle (MFU) est passée de 0,03 à 0,34, améliorant l'efficacité d'entraînement.

Scénarios d'application d'Aero-1-Audio

Aero-1-Audio peut être appliqué dans des domaines tels que l'éducation, la santé et le divertissement, par exemple pour générer automatiquement des notes de cours, aider les médecins à rédiger des dossiers médicaux, ou générer des sous-titres vidéo en temps réel, etc.

Comment utiliser Aero-1-Audio

• Installer les dépendances : il faut installer une version spécifique de la bibliothèque transformers, avec la commande python3 -m pip install transformers@git+https://github.com/huggingface/[email protected].

• Démonstration simple : en important les bibliothèques et fonctions pertinentes, en chargeant l'audio, et en utilisant les classes AutoProcessor et AutoModelForCausalLM, on construit l'entrée et génère la sortie pour réaliser le traitement audio, comme la transcription audio.

• Inférence par lots : similaire à la démonstration simple, on peut traiter plusieurs fichiers audio ; il faut ajuster le format des données d'entrée et les paramètres, comme la direction du padding, etc.

Questions fréquentes

Q : Quels sont les avantages d'Aero-1-Audio par rapport aux autres grands modèles audio ?

R : Aero-1-Audio utilise ses paramètres de manière plus efficace ; la quantité de données d'entraînement est plus de 100 fois inférieure à celle de modèles tels que Qwen-Omni et Phi-4, tout en conservant des performances compétitives. Il peut également traiter avec précision des entrées audio continues allant jusqu'à 15 minutes, ce qui est rare chez les autres modèles.

Q : Quelles préparations faut-il effectuer avant d'utiliser le modèle Aero-1-Audio pour l'inférence ?

R : Il est nécessaire d'installer une version spécifique de la bibliothèque transformers, avec la commande python3 -m pip install transformers@git+https://github.com/huggingface/[email protected]. Pour améliorer les performances, on peut installer flash-attn avec la commande pip install --no-build-isolation flash-attn ; si vous ne souhaitez pas utiliser flash-attn, vous pouvez également choisir sdpa ou eager.

Q : Quelles sont les caractéristiques des données d'entraînement d'Aero-1-Audio ?

R : Les données d'entraînement proviennent de plus de 20 jeux de données publics, totalisant environ 5 milliards de tokens, ce qui correspond à environ 50 000 heures de données audio. Par rapport à d'autres modèles, son volume de données d'entraînement est plus faible, mais son efficacité d'échantillonnage est élevée, permettant au modèle d'atteindre des performances compétitives avec moins de données.

HuggingFace :https://huggingface.co/lmms-lab/Aero-1-Audio