StereoCrafter: открытый фреймворк Tencent для преобразования 2D-видео в 3D 128

StereoCrafter — это открытый фреймворк, разработанный лабораторией Tencent ai, который преобразует обычные 2D-видео в иммерсивные стереоскопические 3D-видео.

Фреймворк StereoCrafter состоит из двух основных этапов: сплэшинга видео на основе глубины и стереоскопической реставрации видео. Сначала с помощью оценки глубины из входного одноперспективного видео извлекается информация о глубине, которая используется для деформации видео и генерации масок окклюзии. Затем модель стереоскопической реставрации видео заполняет пустые области в деформированном видео, синтезируя таким образом правое изображение. Такой подход не только повышает качество генерируемого 3D-видео, но и обеспечивает гибкость и адаптивность при обработке видео различной длины и разрешения.

Кроме того, StereoCrafter поддерживает множество видеоисточников, включая фильмы, видеоблоги, 3D-мультфильмы и видео, сгенерированные ИИ (AIGC), что ещё больше расширяет сферу его применения. StereoCrafter предназначен для удовлетворения растущего спроса на 3D-контент, особенно в области иммерсивных впечатлений, и способен предоставить пользователям более насыщенный визуальный опыт.

Основные функции StereoCrafter:

• Преобразование видео: StereoCrafter способен преобразовывать любое 2D-видео в высококачественное стереоскопическое 3D-видео, поддерживая различные устройства отображения, такие как 3D-очки и Apple Vision Pro.

• Оценка глубины: StereoCrafter с помощью технологии оценки глубины анализирует информацию о глубине в видео, создавая реалистичный 3D-эффект.

• Реставрация видео: StereoCrafter также включает функцию стереоскопической реставрации видео, которая позволяет обрабатывать окклюзии и другие визуальные проблемы, обеспечивая высокое качество и согласованность сгенерированного видео.

• Поддержка множества форматов: сгенерированное видео может выводиться в красно-синем, VR-формате или формате бок-о-бок, что соответствует различным потребностям просмотра и устройствам.

• Высокая производительность: StereoCrafter оптимизирован для быстрой обработки видео.

Сценарии применения StereoCrafter

StereoCrafter подходит для различных видеоисточников, таких как фильмы, видеоблоги, 3D-анимация и AIGC-видео, и способен воспроизводить стереоскопический эффект на таких устройствах, как 3D-очки, Apple Vision Pro и 3D-мониторы.

• Кинопроизводство: в кино и видеопроизводстве StereoCrafter может помочь создателям преобразовать традиционные 2D-фильмы в 3D-версии.

• Видеоблоги и создание контента: создатели контента могут использовать StereoCrafter для преобразования своих 2D-видео в 3D.

• Образование и обучение: в образовательной сфере стереоскопическое видео может обеспечить более иммерсивный учебный опыт.

• Виртуальная и дополненная реальность: 3D-видео, сгенерированные StereoCrafter, могут использоваться в VR- и AR-приложениях.

Шаги и методы преобразования видео с помощью StereoCrafter:

1. Подготовительные работы

Перед началом убедитесь, что у вас есть следующее:

• Монокулярный видеоматериал: выберите 2D-видео, которое вы хотите преобразовать, и убедитесь, что его качество соответствует требованиям.

• Установка программного обеспечения: посетите официальный сайт StereoCrafter, загрузите и установите необходимое программное обеспечение или модели.

2. Оценка глубины

Используйте функцию оценки глубины StereoCrafter для генерации информации о глубине видео. Этот шаг является ключевым для преобразования 2D-видео в 3D-видео, конкретные шаги следующие:

• Импортируйте ваш видеоматериал в StereoCrafter.

• Запустите алгоритм оценки глубины, чтобы сгенерировать карты глубины видео. Эти карты глубины будут использоваться для последующей 3D-реконструкции.

3. Переналожение текстур видео

После получения информации о глубине выполните переналожение текстур видео:

• На основе информации о глубине выполните переналожение текстур видео, извлекая информацию об окклюзии и одновременно выполняя преобразование видео.

• Этот шаг гарантирует правильную обработку отношений окклюзии объектов в процессе преобразования.

4. Стереоскопическая реставрация видео

После завершения переналожения текстур выполните стереоскопическую реставрацию видео:

• Используйте предварительно обученную модель стабильной диффузии видео для реставрации сгенерированного стереоскопического видео, обеспечивая его качество и согласованность.

• Этот шаг позволяет устранить возможные артефакты и разрывы на границах.

5. Вывод и воспроизведение

• Наконец, выведите сгенерированное 3D-видео:

• Выберите подходящий формат вывода (например, красно-синий, VR или бок-о-бок) для воспроизведения на различных 3D-устройствах отображения.

• Вы можете воспроизводить сгенерированное видео на таких устройствах, как Apple Vision Pro, и наслаждаться иммерсивным просмотром.

С помощью вышеуказанных шагов вы можете успешно преобразовать обычное 2D-видео в высококачественное стереоскопическое 3D-видео с помощью StereoCrafter.

Домашняя страница проекта StereoCrafter:https://stereocrafter.github.io/

Репозиторий на Github:https://github.com/TencentARC/StereoCrafter

Техническая статья на ArXiv:https://arxiv.org/pdf/2409.07447