PengChengStarling: Mehrsprachiges Spracherkennungssystem als Open Source vom Pengcheng Laboratory 111

PengChengStarling ist ein von der Peng Cheng Laboratory als Open Source veröffentlichtes mehrsprachiges Spracherkennungssystem, das Echtzeit-Spracherkennung unterstützt. Es erkennt Sprache, während sie gesprochen wird, und eignet sich für den Einsatz in Szenarien wie der Umwandlung von Aufnahmen internationaler Konferenzen in Text, der automatischen Erzeugung von Untertiteln für mehrsprachige Videos und in mehrsprachigen Kundenservice-Systemen.

PengChengStarling basiert auf dem icefall-Projekt. Die Modellgröße beträgt nur 20 % der von Whisper-Large v3, die Inferenzgeschwindigkeit ist jedoch 7-mal schneller. Es unterstützt 8 Sprachen, darunter Chinesisch, Englisch, Russisch, Vietnamesisch, Japanisch, Thai, Indonesisch und Arabisch, und kann Spracheingaben in mehreren Sprachen innerhalb eines einheitlichen Rahmens verarbeiten, was die Effizienz der Spracherkennung erheblich verbessert.

Funktionen von PengChengStarling:

• Modellgröße und Leistung: Die Modellgröße von PengChengStarling beträgt nur 20 % der von Whisper-Large v3 und ist somit hinsichtlich Speicher- und Rechenressourcen deutlich effizienter.

• Inferenzgeschwindigkeit: Die Inferenzgeschwindigkeit des PengChengStarling-Systems ist 7-mal schneller als die von Whisper-Large v3. Es kann Spracheingaben in kürzerer Zeit verarbeiten und eignet sich somit für Echtzeit-Anwendungsszenarien.

• Mehrsprachige Unterstützung: PengChengStarling unterstützt bis zu 8 Sprachen, darunter Chinesisch, Englisch, Russisch, Vietnamesisch, Japanisch, Thai, Indonesisch und Arabisch, und kann die Anforderungen unterschiedlicher Benutzer erfüllen.

• Modellarchitektur: Es verwendet eine RNN-T-Architektur, die aus den drei Modulen Encoder, Decoder und Joiner besteht. Der Sprachencoder verwendet Zipformer.

• Leistungssteigerung: Im Vergleich zu Whisper-Large v3 erzielt PengChengStarling bei 6 Sprachen eine vergleichbare oder bessere Leistung. Der Echtzeitfaktor (RTF) erreicht 0,016 und die Inferenzgeschwindigkeit ist nahezu 7-mal höher.

Anwendungsszenarien von PengChengStarling:

• Intelligente Assistenten: Kann in intelligente Assistenten integriert werden, um Sprachbefehle zu erkennen und darauf zu reagieren.

• Kundenservice: In Kundenservicezentren kann die Spracherkennungstechnologie eingesetzt werden, um die Reaktionsgeschwindigkeit und Genauigkeit bei Kundenanfragen zu verbessern.

• Bildungsbereich: In Sprachlern- und Bildungsanwendungen unterstützt es Schüler beim Aussprachetraining und bei der sprachlichen Kommunikation.

• Besprechungsaufzeichnung: Transkribiert in Besprechungen in Echtzeit die Wortbeiträge und steigert so die Effizienz von Meetings.

• Mehrsprachige Übersetzung: In Kombination mit Übersetzungssystemen ermöglicht es eine Echtzeit-Kommunikation in mehreren Sprachen.

PengChengStarling zeigt in Leistungsbewertungen hervorragende Ergebnisse, insbesondere im Vergleich zu Whisper-Large v3: Bei der Streaming-Spracherkennung in sechs Sprachen erreicht PengChengStarling vergleichbare oder bessere Ergebnisse. Darüber hinaus umfasst die Trainingsdatenmenge pro Sprache etwa 2000 Stunden und stammt hauptsächlich aus offenen Datensätzen, was eine sehr solide Grundlage für die mehrsprachige Unterstützung bietet.

In der Praxis kann PengChengStarling auch für adaptive Spracherkennungstechniken eingesetzt werden, die basierend auf den Sprachmerkmalen der Benutzer personalisierte Anpassungen vornehmen, um die Erkennungsgenauigkeit zu erhöhen. Dies gilt insbesondere in Umgebungen mit starken Hintergrundgeräuschen.

Github: https://github.com/yangb05/PengChengStarling

HuggingFace: https://huggingface.co/stdo/PengChengStarling