LiveCC: Ein Echtzeit-Video-LLM von ByteDance und der National University of Singapore 143

小编 · 2025-04-25

LiveCC ist ein Video-LLM, das gemeinsam von ByteDance und der National University of Singapore entwickelt wurde und Videoinhalte in Echtzeit kommentieren kann. Es wird mit ASR-Transkripten trainiert, was die Kosten niedrig und die Effizienz hoch hält. Die Forscher entwickelten außerdem eine neue Streaming-Trainingsmethode und eine Datenproduktions-Pipeline und erstellten die Datensätze Live-CC-5M und Live-WhisperX-526K. Selbst ohne hochwertiges überwachtes Fine-Tuning erzielt das LiveCC-7B-Base-Modell starke Ergebnisse bei Video-Frage-Antwort-Aufgaben und Echtzeit-Kommentierung. Im LiveSports-3K-Benchmark evaluiert,

LiveCC: Ein Echtzeit-Video-LLM von ByteDance und der National University of Singapore

Was ist LiveCC?

LiveCC ist ein von ByteDance und der National University of Singapore gemeinsam entwickeltes Video-Large-Language-Modell, das Videoinhalte in Echtzeit kommentieren kann. Es wird mit Transkripten aus automatischer Spracherkennung (ASR) trainiert, was kostengünstig und effizient ist. Die Forscher entwickelten zudem eine neuartige Streaming-Trainingsmethode und eine Datenproduktionspipeline und erstellten die beiden Datensätze Live-CC-5M und Live-WhisperX-526K. Selbst ohne hochwertiges überwachtes Fine-Tuning zeigt das Modell LiveCC-7B-Base hervorragende Leistungen bei Video-Frage-Antwort-Aufgaben und in der Echtzeit-Kommentierung. Im Benchmark-Test LiveSports-3K übertrifft das finale Modell LiveCC-7B-Instruct in der Qualität der Echtzeit-Kommentierung fortschrittliche 72B-Modelle und erzielt auch in Video-Frage-Antwort-Benchmarks wie VideoMME und OVOBench Spitzenergebnisse.

Kernfunktionen von LiveCC

Modelltrainingsmethoden

Innovativer Trainingsansatz: Es wird eine neuartige Video-zu-ASR-Streaming-Trainingsmethode vorgeschlagen, bei der ASR-Wörter und Video-Frames basierend auf Zeitstempeln eng miteinander verwoben werden. Dies entspricht der Streaming-Eigenschaft von ASR und ermöglicht es dem Modell, zeitlich ausgerichtetes, feinkörniges visuell-sprachliches Modelling zu erlernen.
Datenproduktion und Datensatzerstellung: Es wird eine Datenproduktionspipeline eingeführt, die YouTube-Videos und deren Untertitel (CC, entspricht ASR) verarbeitet. Daraus werden der Live-CC-5M-Datensatz für das Vortraining und der Live-WhisperX-526K-Datensatz für hochwertiges überwachtes Fine-Tuning (SFT) erstellt.

模型训练方法.webp

Modellleistung

Modell LiveCC-7B-Base: Auch ohne SFT zeigt dieses Modell bei allgemeinen Video-Frage-Antwort-Aufgaben eine wettbewerbsfähige Leistung und verfügt zudem über die neuartige Fähigkeit zur Echtzeit-Videokommentierung.
Modell LiveCC-7B-Instruct: Mithilfe des sorgfältig konzipierten Benchmarks LiveSports-3K (der ein LLM als Richter zur Bewertung freier Kommentare verwendet) übertrifft dieses Modell im Echtzeitmodus die Kommentarqualität fortschrittlicher 72B-Modelle (wie Qwen2.5-VL-72B-Instruct, LLaVA-Video-72B). In populären Video-Frage-Antwort-Benchmarks (wie VideoMME und OVOBench) erzielt es im 7B/8B-Maßstab State-of-the-Art-Ergebnisse, was die breite Generalisierbarkeit des Ansatzes belegt.

LiveCC应用.webp

Anwendungen von LiveCC

LiveCC kann in zahlreichen Bereichen eingesetzt werden, etwa bei der Echtzeit-Interpretation von Videoinhalten, der Live-Kommentierung von Sportereignissen und der interaktiven Erläuterung von Lehrvideos.

Häufig gestellte Fragen

Frage: Worin unterscheidet sich LiveCC von anderen Video-Large-Language-Modellen bei der Beschaffung von Trainingsdaten?

Antwort: LiveCC nutzt kostengünstige ASR-Transkripte (Automatic Speech Recognition) für das Training in großem Maßstab, während andere Modelle häufig auf teuren manuellen Annotationen oder proprietären Modell-APIs (wie GPT-4o) basieren. Dieser Unterschied verschafft LiveCC Vorteile hinsichtlich der Kosten und des Umfangs der Trainingsdaten.

Frage: Welche Aufgaben haben die Datensätze Live-CC-5M und Live-WhisperX-526K jeweils?

Antwort: Der Datensatz Live-CC-5M wird für das Vortraining des Modells verwendet und hilft ihm, allgemeine visuell-sprachliche Merkmale und Wissensinhalte zu erlernen; der Datensatz Live-WhisperX-526K dient dem hochwertigen überwachten Fine-Tuning (SFT), damit das Modell bei bestimmten Aufgaben besser abschneidet und seine Leistung weiter steigert.

Frage: Welche Bedeutung hat es, dass das Modell LiveCC-7B-Instruct in der Echtzeit-Kommentierung 72B-Modelle übertrifft?

Antwort: Es zeigt, dass die Trainingsmethode und die Modellarchitektur von LiveCC wirksam sind und mit einer geringeren Parameteranzahl eine effizientere Echtzeit-Kommentierung ermöglichen. Damit bietet LiveCC eine kostengünstigere Lösung für den Einsatz von Video-Large-Language-Modellen in Echtzeit-Anwendungsszenarien (wie der Live-Kommentierung von Sportereignissen).