LiveCC：ByteDanceとシンガポール国立大学が共同開発したリアルタイム解説対応の動画LLM 140

小编 · 2025-04-25

LiveCCはByteDanceとシンガポール国立大学が共同開発した動画LLMで、動画コンテンツをリアルタイムで解説できる。ASR（自動音声認識）の書き起こしで学習されているため、コストが低く、効率が高い。研究チームは新しいストリーミング学習手法とデータ生成パイプラインを開発し、Live-CC-5MとLive-WhisperX-526Kという2つのデータセットを構築した。高品質な教師あり微調整を経なくても、LiveCC-7B-Baseは動画質問応答とリアルタイム解説で優れた性能を発揮する。LiveSports-3Kベンチマークでの評価によると、

LiveCC：ByteDanceとシンガポール国立大学が共同開発したリアルタイム解説対応の動画LLM

LiveCCとは？

LiveCCは字节跳动とシンガポール国立大学が共同開発した動画大規模言語モデルで、動画の内容をリアルタイムで解説できます。自動音声認識（ASR）の書き起こしを使って学習されるため、コストが低く、効率が高いです。研究チームは新しいストリーミング学習手法とデータ生成パイプラインを開発し、Live-CC-5MとLive-WhisperX-526Kという2つのデータセットを構築しました。高品質な教師あり微調整（SFT）を行わなくても、LiveCC-7B-Baseモデルは動画質問応答とリアルタイム解説において優れた性能を発揮します。LiveSports-3Kベンチマークでの評価の結果、最終的なLiveCC-7B-Instructモデルは、リアルタイム解説の品質において72Bの先進的なモデルを上回り、VideoMMEやOVOBenchなどの動画質問応答ベンチマークでも最先端の成績を収めました。

LiveCCの中核的な特徴

モデルの学習手法

革新的な学習方式：新しい動画 - ASR ストリーミング学習手法を提案しています。タイムスタンプに基づいてASRの単語と動画フレームを密に織り交ぜることで、ASRのストリーミング特性に合致し、モデルが時間的な整合性と細粒度の視覚言語モデリングを学習できるようにします。
データ生成とデータセット構築：YouTube動画とその字幕（CC、ASRに相当）を処理するデータ生成パイプラインを導入し、事前学習用のLive-CC-5Mデータセットと高品質な教師あり微調整（SFT）用のLive-WhisperX-526Kデータセットを構築しました。

模型训练方法.webp

モデルの性能

LiveCC-7B-Baseモデル：SFTを行わなくても、このモデルは汎用的な動画質問応答タスクで競争力のある性能を発揮し、リアルタイム動画解説という新たな能力を備えています。
LiveCC-7B-Instructモデル：精心設計されたLiveSports-3Kベンチマーク（LLMを判定基準として自由形式の解説を評価）で評価した結果、このモデルはリアルタイムモードでの解説品質において、72Bの先進的なモデル（Qwen2.5-VL-72B-Instruct、LLaVA-Video-72Bなど）を上回りました。VideoMMEやOVOBenchなどの一般的な動画質問応答ベンチマークでは、7B/8B規模で最先端の成果を達成し、本手法の高い汎用性を証明しました。

LiveCC应用.webp

LiveCCの活用例

LiveCCは、動画コンテンツのリアルタイム解説、スポーツ試合のリアルタイム実況、教育動画の双方向的な解説など、さまざまな分野で広く活用できます。

よくある質問

問：LiveCCは、他の動画大規模言語モデルと比較して、学習データの取得方法で何が異なりますか？

答：LiveCCは、低コストな自動音声認識（ASR）の書き起こしを利用して大規模に学習を行いますが、他のモデルはコストの高い人手によるアノテーションや proprietaryモデルAPI（GPT-4oなど）に依存することが多いです。この違いにより、LiveCCは学習データのコストと規模の両面で優位性を持ちます。

問：Live-CC-5MとLive-WhisperX-526Kの各データセットは、それぞれどのような役割を果たしますか？

答：Live-CC-5Mデータセットはモデルの事前学習に使用され、汎用的な視覚言語の特徴と知識を学習するのに役立ちます。Live-WhisperX-526Kデータセットは高品質な教師あり微調整（SFT）に使用され、特定のタスクでのモデルの性能を向上させます。

問：LiveCC-7B-Instructモデルがリアルタイム解説で72Bモデルを上回ったことは、どのような意義がありますか？

答：これは、LiveCCの学習手法とモデルアーキテクチャが有効であることを示しており、より少ないパラメータ数でより効率的なリアルタイム解説機能を実現できることを意味します。これにより、スポーツ中継の実況などのリアルタイム応用シーンにおける動画大規模言語モデルの普及に対し、コストパフォーマンスに優れた解決策を提供します。