CineMaster: фреймворк генерации видео из текста с 3D-восприятием и управлением от Kuaishou 187

CineMaster — это недавно представленная 快手 (Kuaishou) платформа для генерации видео из текста, разработанная совместно Даляньским политехническим университетом, Китайским университетом Гонконга и компанией Kuaishou Technology. Это инновационный фреймворк для генерации видео из текста с 3D-восприятием и возможностью управления. CineMaster предоставляет пользователям возможности для творчества на уровне профессионального кинорежиссёра, позволяя точно размещать объекты в сцене, свободно управлять объектами и камерой в 3D-пространстве, а также интуитивно проектировать композицию каждого кадра. Фреймворк называют «видеоверсией ControlNet».

CineMaster позволяет пользователям точно контролировать положение объектов и движение камеры с помощью различных управляющих сигналов, оптимизируя гибкость и точность генерации видео.

Другими словами, CineMaster позволяет пользователям вводить управляющие сигналы, такие как карты глубины, траектории камеры и метки объектов, что позволяет лучше реализовать творческие идеи пользователя при генерации видео. Фреймворк может применяться в производстве анимации, разработке видеоигр и других областях, требующих точного контроля визуальных элементов.

Основные функции CineMaster:

• Точное размещение объектов в сцене: пользователи могут свободно настраивать положение объектов и движение камеры в 3D-пространстве, обеспечивая высококонтролируемую генерацию видео.

• Интуитивное проектирование композиции каждого кадра: благодаря интерактивному интерфейсу пользователи могут в реальном времени просматривать результаты рендеринга и пошагово оптимизировать каждый кадр видео.

• Генерация видео на основе условных сигналов: использование карт глубины, траекторий камеры и меток категорий объектов для управления диффузионной моделью и создания видеоконтента, соответствующего замыслу пользователя.

• Модуль внедрения семантической компоновки и адаптер камеры: обеспечивают соответствие генерируемого видеоконтента 3D-замыслу пользователя как на семантическом, так и на визуальном уровне, а также поддерживают сложные движения камеры.

Преимущества CineMaster:

• Двухэтапный рабочий процесс: на первом этапе формируются управляющие сигналы с 3D-восприятием, на втором — генерируется видео на основе условных сигналов.

• Сеть семантического контроля компоновки: объединяет 3D-пространственную компоновку с семантической информацией для точного управления положением каждого объекта.

• Адаптер камеры: внедряет положение камеры в процесс генерации через остаточные соединения, поддерживая сложные движения камеры.

Технологии CineMaster:

• Автоматизированный конвейер аннотирования данных: включает сегментацию экземпляров, оценку глубины, вычисление 3D-облака точек и ограничивающих рамок, отслеживание объектов и корректировку 3D-ограничивающих рамок.

• Эксперименты и результаты: в трёх типичных сценариях CineMaster значительно превосходит существующие SOTA-методы, обеспечивая точный контроль над объектами и движением камеры.

Применение CineMaster:

• Креативное видео: помогает создателям создавать более оригинальные видеоработы.

• Реклама и продвижение: предоставляет точные и инновационные инструменты для создания рекламных видео.

• Образование и обучение: повышает привлекательность образовательного контента с помощью 3D-моделей и анимированных сцен.

• Кинопроизводство: обеспечивает новую техническую поддержку для создания кино- и видеоконтента.

CineMaster оказывает значительное влияние на создание контента, рекламное производство, кинематографические спецэффекты, онлайн-образование и многие другие области, позволяя даже непрофессиональным пользователям создавать видео с кинематографическим качеством визуальных эффектов.

Адрес проекта:https://cinemaster-dev.github.io/