SpeechGPT 2.0-preview: Das erste Sprachdialogmodell für Interaktion und Kontextintelligenz 124

Das OpenMOSS-Labor für künstliche Intelligenz der Fudan-Universität stellt das erste Open-Source-Sprachdialogmodell für Echtzeit-Interaktion und kontextbezogene Intelligenz vor: SpeechGPT 2.0-preview. SpeechGPT 2.0-previewwurde auf einer millionenstündigen chinesischen Sprachdatenbasis trainiert und realisiert mit einer Ende-zu-Ende-Architektur eine tiefe Verschmelzung von Sprach- und Textmodalitäten. Es kann auf Anweisung hin Sprache mit verschiedenen Emotionen und Stilen erzeugen, einschließlich der Nachahmung der Emotionen bestimmter Rollen.

I. Zentrale technologische Durchbrüche

1. Ende-zu-Ende-Sprachmodellierung

Das Modell verarbeitet durch kombinierte semantisch-akustische Modellierung Spracheingaben direkt und erzeugt Sprach- oder Textausgaben, ohne herkömmliche kaskadierte ASR- (Spracherkennung) und TTS-Module (Sprachsynthese). Der selbst entwickelte Streaming-Sprach-Codec mit extrem niedriger Bitrate (750 bps) komprimiert Sprache auf 75 Token pro Sekunde. In Kombination mit der Codec-Patchify-Technik, die Sprach-Token benachbarter Zeitschritte zu einheitlichen Vektoren zusammenfasst, werden Konflikte bei der Modellierung über Modalitäten hinweg wirksam reduziert und Streaming-Ein- und -Ausgaben mit Latenzzeiten unter 200 ms in Echtzeit ermöglicht.

2. Hybride Sprach-Text-Modellierung

Das Modell nutzt einen mehrstufigen Trainingsablauf:

• Modalitätsangepasstes Vortraining: Nutzung unannotierter Sprachdaten zum Erlernen sprachmodaler Merkmale;

• Modalitätsübergreifendes Instruction Tuning: Verbesserung des Instruktionsverständnisses durch einen umfangreichen modalitätsübergreifenden Instruktionsdatensatz (SpeechInstruct);

• Ketten-Modalitäts-Feintuning: Optimierung der Präzision modalitätsübergreifender Umwandlungen, z. B. Empfang einer Sprachinstruktion, textbasierte Überlegung und anschließend Antwort in Sprache.

3. Ausrichtung multimodaler Fähigkeiten

Durch Sprach-Text-Alignment-Vortraining „emergieren“ im Modell Generalisierungsfähigkeiten, die nicht explizit trainiert wurden – so lässt sich etwa die Sprechgeschwindigkeit ohne Sprechtempo-Anpassungsdaten steuern oder der Tonfall und Stil unbekannter Rollen imitieren.

II. Funktionen, Eigenschaften und Leistung

1. Anthropomorphe Interaktionserfahrung

Emotions- und Stilsteuerung: präzise Steuerung multipler Emotionen (z. B. schwach, fröhlich), mehrerer Klangfarben (Wechsel zwischen männlich und weiblich) und mehrerer Stile (Gedichtvortrag, Nachahmung von Dialekten); herausragende Rollenspielfähigkeit;

2. Echtzeit-Unterbrechung der Interaktion: Antwortzeiten im Bereich von hundert Millisekunden ermöglichen sofortiges Unterbrechen und Wiederaufnehmen in natürlichen Dialogen.

Intelligenz und Praxistauglichkeit

• Integration von Textfähigkeiten: Aufbauend auf der Ausdrucksstärke der Sprache bleiben die „Intelligenz“ des Textmodells sowie der Toolaufruf, Internetsuche und die Anbindung externer Wissensdatenbanken erhalten;

• Multitasking-Kompatibilität: Verarbeitung von Szenarien wie der Analyse langer Dokumente und mehrerer Dialogrunden; die Leistung bei Kur textaufgaben wird durch die Langkontextfähigkeiten nicht beeinträchtigt.

3. Open-Source-Ökosystem

Modellcode, Gewichte und technischer Bericht sind vollständig Open Source (Apache-2.0-Lizenz). Auf Hugging Face werden vortrainierte Modelle und eine Gradio-Demo bereitgestellt, und das Modell unterstützt lokales Deployment;

durch die Integration des vLLM-Frameworks wird die Inferenz-Effizienz optimiert, ein Sparse-Attention-Mechanismus reduziert die Speichernutzung um 96,7 % und steigert die Verarbeitungsgeschwindigkeit um das 3- bis 7-fache.

III. Anwendungsszenarien

• Intelligente Assistenten: natürlich sprachinteraktive Kundendienst-, Bildungs- oder medizinische Assistenten, z. B. Echtzeit-Sprachtraining und emotionale Begleitung;

• Content-Erstellung: automatische Erzeugung von Hörbüchern, Gedichtvorträgen oder Dialekt-Inhalten, die multimediale Kreation bereichern;

• Barrierefreie Kommunikation: Bereitstellung von Echtzeit-Sprache-zu-Text- und Synthesediensten für Hörgeschädigte oder Menschen mit Sprachstörungen.

SpeechGPT 2.0-preview erreicht durch seine Ende-zu-Ende-Architektur und modalitätsübergreifende Ausrichtung Sprachinteraktion mit niedriger Latenz, hoher Natürlichkeit und starker Intelligenz und stellt einen wichtigen Durchbruch der Open-Source-Community im Bereich großer Sprachmodelle dar. Das Open-Source-Ökosystem und die Anpassungsfähigkeit an zahlreiche Szenarien bieten Entwicklern nicht nur ein effizientes Werkzeug, sondern treiben die Mensch-Maschine-Interaktion zudem in Richtung einer stärker emotionalen und natürlicheren Weiterentwicklung voran.

GitHub-Repository:https://github.com/OpenMOSS/SpeechGPT-2.0-preview

Online-Demo:https://sp2.open-moss.com (ausprobiert: läuft etwas hakelig, beim Lachen stockt es, dennoch insgesamt recht natürlich – antwortet allerdings oft an der Frage vorbei)