Qinyue: Großes KI-Musikmodell 167

Qinle Large Model ist ein KI-Musik-Großmodell, das gemeinsam von Tencent Qin Lab und Tencent ai Lab entwickelt wurde und über umfangreiche Funktionen zur KI-Komposition und zum Arrangement verfügt. Durch die Eingabe chinesischer oder englischer Schlüsselwörter, beschreibender Sätze oder Audiodateien kann das Qinle Large Model direkt Musik generieren.

Hauptfunktionen und Merkmale des Qinle Large Model:

• Musikgenerierung: Das Qinle Large Model kann auf Basis der vom Benutzer bereitgestellten chinesischen oder englischen Schlüsselwörter, beschreibenden Sätze oder Audioeingaben intelligent Musik generieren und so eine automatische Musikkomposition ermöglichen.

• Notengenerierung: Neben der Audioerzeugung kann das Qinle Large Model auch detaillierte Musikpartituren generieren, die mehrere Spuren wie Melodie, Akkorde, Begleitung und Schlagzeug enthalten und dem Benutzer eine reichhaltige musikalische Struktur bieten.

• Automatische Bearbeitung: Das Modell unterstützt eine Reihe automatischer Bearbeitungsvorgänge für die erzeugten Partituren, einschließlich der Fortsetzung von Partituren, der Neugenerierung bestimmter Spuren oder Takte, der Anpassung der Instrumentierung, der Änderung von Instrumententypen und des Rhythmus.

• Audio-Text-Abgleich: Durch Contrastive-Learning-Techniken baut das Qinle Large Model einen gemeinsamen Merkmalsraum auf, in dem Audio-Tags oder Textbeschreibungen mit dem Audio selbst abgeglichen werden, um dem Generierungsmodell bedingte Steuersignale zu liefern und die Relevanz und Genauigkeit der Musikgenerierung zu verbessern.

• Extraktion von Noten-/Audio-Repräsentationen: Das Modell kann Partituren oder Audiodaten in eine Reihe diskreter Merkmalssequenzen (Token) umwandeln, die als Grundlage für die Vorhersage großer Sprachmodelle dienen.

• Vorhersage durch große Sprachmodelle: Mit einer Decoder-only-Architektur wird das Qinle Large Model durch Next-Token-Prediction trainiert. Die vorhergesagten Sequenzen können zurück in Partituren oder Audiodaten umgewandelt werden, wodurch eine Umwandlung von Text zu Musik ermöglicht wird.

• Audio-Restauration: Durch Flow-Matching- und Vocoder-Techniken kann das Qinle Large Model die vorhergesagten Audio-Repräsentationssequenzen in hörbares Audio zurückverwandeln, wodurch die Realitätstreue und Qualität des Audios verbessert wird.

• Einhaltung der Musiktheorie: Bei der Generierung von Musik folgt das Qinle Large Model der Musiktheorie und stellt sicher, dass Elemente wie Melodie, Akkorde und Rhythmus der musikalischen Logik und der menschlichen Ästhetik entsprechen.

Anwendungsbereiche des Qinle Large Model

• Musikkomposition: Bietet professionellen Musikern effiziente Werkzeuge zum Komponieren und Arrangieren und vereinfacht mühsame Aufgaben im kreativen Prozess.
  

• Bildungsbereich: Unterstützt Schüler beim Verstehen und Erlernen der Musiktheorie und ermöglicht praktische Übungen anhand automatisch generierter Partituren.

• Unterhaltungsindustrie: Auch gewöhnliche Benutzer können durch einfache Bedienung den Reiz der Musikkomposition erleben, was die Interaktivität und Unterhaltung steigert.

Das Tencent Music Tianqin Lab ist verantwortlich für die Forschung und Implementierung von Multimedia- und KI-Anwendungen in Produkten wie QQ Music, Quanmin K Song, Tencent Music People, Kuwo und Kugou. Zu den bekannten Projekten gehören auf QQ Music: Musikerkennung beim Hören, Summen-Erkennung, Cover-Erkennung, Liedtext-Zeitstempel, Premium-Klangqualität, DMEE, MV-Videobearbeitung, Untertitel-Erkennung und Star-Erkennung; auf Quanmin K Song: Gesangsbewertung, intelligente Stimmkorrektur, intelligente Soundeffekte und Gesangssynthese; auf Lazy Listening: KI-Vorlesen und KI-Manuskripte; im Bereich Live-Streaming-Interaktion: intelligente Qualitätsbewertung, Highlight-Erkennung sowie End-Cloud-Integration zur Verbesserung der Video-qualität. Darüber hinaus werden Virtual-Human-Technologien im Metaverse erforscht, und die virtuellen Figuren der Geschwister Xiaotian und Xiaoqin, die auf virtuellen Bildern, virtuellem Tanz, der Erzeugung von Gesangsmimik und Musik-Lichtshows basieren, stehen kurz vor ihrer Veröffentlichung – bleiben Sie gespannt.

Derzeit ist die zugehörige Technologie des Qinle Large Model bereits auf der Tencent Music Qiming Star-Plattform verfügbar. Benutzer können sich kostenlos registrieren und die Plattform erleben.