Aero-1-Audio: ein kompaktes Audiomodell von LMMs-Lab 55

Was ist Aero-1-Audio?

Aero-1-Audio ist ein kompaktes Audiomodell, das von LMMs-Lab entwickelt wurde. Es basiert auf dem Qwen-2.5-1.5B-Sprachmodell, verfügt über 2,42 Milliarden Parameter und steht unter der MIT-Lizenz. Es kann verschiedene Audioaufgaben effizient verarbeiten und eignet sich für Szenarien, in denen qualitativ hochwertige Audioverarbeitungsfunktionen unter ressourcenbeschränkten Bedingungen bereitgestellt werden müssen, etwa für Sprachassistenten auf Smartphones, Besprechungsaufzeichnungs- und Transkriptionssysteme oder die Echtzeit-Sprachumwandlung im Unterricht.

Modellmerkmale von Aero-1-Audio

• Hohe Leistung: Aero-1-Audio basiert auf Qwen-2.5-1.5B. Trotz der geringeren Parametergröße schneidet es in mehreren Audio-Benchmarktests hervorragend ab und übertrifft sogar viele größere ai-Modelle wie Whisper, Qwen-2-Audio und ElevenLabs/Scribe.

• Hohe Trainingseffizienz: Das Aero-1-Audio-Modell wurde in nur einem Tag auf 16 H100-GPUs trainiert und verwendete dabei etwa 5 Milliarden Tokens (entsprechend 50.000 Stunden Audio) hochwertiger gefilterter Daten.

• Starke Verarbeitung langer Audioinhalte: Aero-1-Audio kann kontinuierliche Audioeingaben von bis zu 15 Minuten Länge ohne Segmentierung verarbeiten, was bei aktuellen Audiomodellen selten vorkommt.

Leistungsbewertung

• Spracherkennungsaufgaben: Auf Datensätzen wie AMI, LibriSpeech und SPGISpeech erreicht Aero-1-Audio die niedrigste Wortfehlerrate (WER). Bei Langsprach-ASR-Tests ist der Leistungsabfall am geringsten.

• Audioverständnisaufgaben: In mehreren Dimensionen wie Audioanalyse und -verständnis, Sprachbefehlsfolge und Audio-Szenenverständnis schneidet Aero-1-Audio hervorragend ab und übertrifft oder erreicht andere große Modelle.

Technische Vorteile

• Dynamische Batchgröße: Aero-1-Audio verwendet eine dynamische Batch-Verarbeitungsstrategie basierend auf der Token-Länge, was die Auslastung der Rechenressourcen verbessert.

• Sequenzverpackung: Durch die Sequenzverpackungstechnik in Kombination mit der Liger-Kernel-Fusion wird die durchschnittliche Model FLOP Utilization (MFU) von 0,03 auf 0,34 gesteigert, was die Trainingseffizienz verbessert.

Anwendungsszenarien von Aero-1-Audio

Aero-1-Audio kann in Bereichen wie Bildung, Medizin und Unterhaltung eingesetzt werden, beispielsweise zur automatischen Erstellung von Vorlesungsnotizen, zur Unterstützung von Ärzten bei der Dokumentation von Krankenakten oder zur Echtzeit-Generierung von Video-Untertiteln.

Verwendung von Aero-1-Audio

• Abhängigkeiten installieren: Es muss eine bestimmte Version der transformers-Bibliothek installiert werden. Der Befehl lautet python3 -m pip install transformers@git+https://github.com/huggingface/[email protected].

• Einfache Demonstration: Durch das Importieren der entsprechenden Bibliotheken und Funktionen, das Laden der Audiodaten, die Verwendung der Klassen AutoProcessor und AutoModelForCausalLM, das Erstellen der Eingaben und das Generieren der Ausgaben wird die Audioverarbeitung realisiert, etwa die Audiotranskription.

• Batch-Inferenz: Ähnlich wie bei der einfachen Demonstration können mehrere Audiodateien verarbeitet werden, wobei das Eingabedatenformat und die Parametereinstellungen angepasst werden müssen, etwa die Einstellung der Padding-Richtung.

Häufig gestellte Fragen

Frage: Worin liegen die Vorteile von Aero-1-Audio im Vergleich zu anderen großen Audiomodellen?

Antwort: Aero-1-Audio nutzt die Parameter effizienter. Die Trainingsdatenmenge ist über 100-mal kleiner als bei Modellen wie Qwen-Omni und Phi-4, dennoch ist die Leistung wettbewerbsfähig. Darüber hinaus kann es kontinuierliche Audioeingaben von bis zu 15 Minuten Länge genau verarbeiten, was bei anderen Modellen selten vorkommt.

Frage: Welche Vorbereitungen sind vor der Inferenz mit dem Aero-1-Audio-Modell erforderlich?

Antwort: Es muss eine bestimmte Version der transformers-Bibliothek installiert werden. Der Befehl lautet python3 -m pip install transformers@git+https://github.com/huggingface/[email protected]. Um die Leistung zu verbessern, kann flash-attn mit dem Befehl pip install --no-build-isolation flash-attn installiert werden. Wenn Sie flash attn nicht verwenden möchten, können Sie auch sdpa oder eager wählen.

Frage: Welche Merkmale weisen die Trainingsdaten von Aero-1-Audio auf?

Antwort: Die Trainingsdaten stammen aus über 20 öffentlichen Datensätzen und umfassen etwa 5 Milliarden Tokens, was etwa 50.000 Stunden Audiodaten entspricht. Im Vergleich zu anderen Modellen ist die Trainingsdatenmenge zwar geringer, aber die Stichprobeneffizienz ist hoch, sodass das Modell mit einer kleineren Datenmenge eine wettbewerbsfähige Leistung erreichen kann.

HuggingFace: https://huggingface.co/lmms-lab/Aero-1-Audio