LiveCC: разработанная ByteDance и НУС видеоязыковая модель с комментированием в реальном времени 144

小编 · 2025-04-25

LiveCC — это видеоязыковая модель, совместно разработанная ByteDance и Национальным университетом Сингапура, способная комментировать видеоконтент в реальном времени. Она обучена на транскриптах ASR, что обеспечивает низкую стоимость и высокую эффективность. Исследователи также разработали новый метод потокового обучения и конвейер генерации данных, создав наборы данных Live-CC-5M и Live-WhisperX-526K. Даже без высококачественного дообучения с учителем модель LiveCC-7B-Base демонстрирует отличные результаты в видео-вопросах-ответах и комментировании в реальном времени. Согласно оценке на бенчмарке LiveSports-3K,

LiveCC: разработанная ByteDance и НУС видеоязыковая модель с комментированием в реальном времени

Что такое LiveCC?

LiveCC — это видео большая языковая модель, разработанная ByteDance совместно с Национальным университетом Сингапура, способная комментировать видеоконтент в реальном времени. Она обучена на транскриптах автоматического распознавания речи (ASR), что обеспечивает низкую стоимость и высокую эффективность. Исследователи также разработали новый метод потокового обучения и конвейер производства данных, создав два набора данных: Live-CC-5M и Live-WhisperX-526K. Даже без высококачественной supervised fine-tuning базовая модель LiveCC-7B-Base демонстрирует выдающиеся результаты в видео-вопросах и ответах, а также в комментировании в реальном времени. По результатам оценки на бенчмарке LiveSports-3K финальная модель LiveCC-7B-Instruct превзошла передовые модели с 72B параметрами по качеству комментирования в реальном времени, а также достигла лучших результатов на бенчмарках видео-вопросов и ответов, таких как VideoMME и OVOBench.

Ключевые особенности LiveCC

Методы обучения модели

Инновационный подход к обучению: предложен новый метод потокового обучения видео-ASR, который тесно переплетает слова ASR и видеокадры в соответствии с временными метками, что соответствует потоковому характеру ASR и позволяет модели обучаться временному выравниванию и тонкозернистому визуально-языковому моделированию.
Производство данных и создание наборов данных: внедрён конвейер обработки данных для видео YouTube и их субтитров (CC, эквивалентных ASR), созданы набор данных Live-CC-5M для предобучения и набор данных Live-WhisperX-526K для высококачественной supervised fine-tuning (SFT).

模型训练方法.webp

Производительность модели

Модель LiveCC-7B-Base: даже без SFT эта модель демонстрирует конкурентоспособную производительность в задачах общих видео-вопросов и ответов, а также обладает новой способностью комментировать видео в реальном времени.
Модель LiveCC-7B-Instruct: оценённая с помощью тщательно разработанного бенчмарка LiveSports-3K (использующего LLM в качестве судьи для оценки свободной формы комментирования), эта модель превосходит передовые модели с 72B параметрами (такие как Qwen2.5-VL-72B-Instruct, LLaVA-Video-72B) по качеству комментирования в режиме реального времени. На популярных бенчмарках видео-вопросов и ответов (таких как VideoMME и OVOBench) она достигает самых современных результатов в масштабе 7B/8B, что доказывает широкую универсальность метода.

LiveCC应用.webp

Применения LiveCC

LiveCC может широко применяться для интерпретации видеоконтента в реальном времени, комментирования спортивных событий в реальном времени, интерактивного объяснения образовательных видео и других областях.

Часто задаваемые вопросы

Вопрос: Чем LiveCC отличается от других видео больших языковых моделей в получении обучающих данных?

Ответ: LiveCC использует недорогие транскрипты автоматического распознавания речи (ASR) для крупномасштабного обучения, тогда как другие модели часто полагаются на дорогостоящие ручные аннотации или API проприетарных моделей (таких как GPT-4o). Это различие даёт LiveCC преимущество в стоимости и масштабе обучающих данных.

Вопрос: Какую роль играют наборы данных Live-CC-5M и Live-WhisperX-526K?

Ответ: Набор данных Live-CC-5M используется для предобучения модели, помогая ей изучать общие визуально-языковые признаки и знания; набор данных Live-WhisperX-526K используется для высококачественной supervised fine-tuning (SFT), обеспечивая лучшую производительность модели в конкретных задачах и повышая её возможности.

Вопрос: Какое значение имеет то, что модель LiveCC-7B-Instruct превосходит модели с 72B параметрами в комментировании в реальном времени?

Ответ: Это свидетельствует об эффективности метода обучения и архитектуры LiveCC, позволяющих реализовать более эффективное комментирование в реальном времени при меньшем числе параметров. Это обеспечивает более экономически выгодное решение для продвижения видео больших языковых моделей в сценариях реального времени (таких как комментирование прямых трансляций спортивных событий и т.д.).