ReCamMaster: фреймворк для генерации новых ракурсов и траекторий движения из одного видео 134

Что такое ReCamMaster?

ReCamMaster — это фреймворк, разработанный совместно исследовательскими группами Чжэцзянского университета, Kuaishou Technology, Китайского университета Гонконга и Хуачжунского университета науки и технологий, который генерирует видео с новыми ракурсами и траекториями движения из одного видео. Он способен генерировать видеоконтент с новыми ракурсами и траекториями движения из одного видео путём переопределения траектории камеры. Ядро технологии заключается в использовании предварительно обученной модели генерации видео из текста в видео и тщательно спроектированном механизме видеоусловий, что обеспечивает высококачественный рендеринг видео.

Функциональные особенности ReCamMaster

• Управление траекторией камеры: поддержка различных сложных траекторий, включая панорамирование, вращение, масштабирование и другие; пользователи могут задавать собственные движения камеры.

• Высококачественная генерация видео: сохранение динамической синхронности и согласованности между кадрами для создания высококачественного видео.

• Поддержка крупномасштабных наборов данных: использование многокамерного синхронизированного набора видеоданных, построенного на Unreal Engine 5, охватывающего разнообразные сцены и движения камеры.

• Инновационный механизм видеоусловий: технология конкатенации условий на уровне кадров значительно повышает качество генерируемого видео.

Сценарии применения ReCamMaster

• Стабилизация видео: преобразование нестабильного видео в плавное с сохранением исходной сцены и действий.

• Суперразрешение и расширение видео: повышение разрешения видео и расширение поля обзора.

• Автономное вождение и зрение роботов: обеспечение аугментации данных с нескольких ракурсов для повышения обобщающей способности моделей.

• Видеосъёмка и постпродакшн: переопределение траектории камеры в видео для создания новых визуальных эффектов.

Как пользоваться ReCamMaster

1. Входное видео: предоставьте видео с одним ракурсом.

2. Выбор траектории: выберите или задайте собственную траекторию камеры (например, панорамирование, вращение, масштабирование и т.д.).

3. Генерация видео: система сгенерирует видео с новым ракурсом в соответствии с заданной траекторией и отправит результат по электронной почте.

4. Пакетная обработка: для пакетной обработки или сравнительного тестирования можно связаться с командой проекта (jianhongbai@zju.edu.cn).

Репозиторий на GitHub:https://github.com/KwaiVGI/ReCamMaster

Домашняя страница проекта:https://jianhongbai.github.io/ReCamMaster/

Статья:https://arxiv.org/abs/2503.11647