Помощник сценариста▸ 
AI Приложения 
AI Новости 
Motionshop: замена персонажей в видео на 3D-аватары
Motionshop: замена персонажей в видео на 3D-аватарыОписание
Motionshop — это инструмент для анимации персонажей с помощью ИИ, который использует передовые технологии обработки видео и 3D-рендеринга. Motionshop способен автоматически обнаруживать людей в видео и заменять их 3D-моделями мультяшных персонажей, создавая забавные ИИ-видео. При этом остальные сцены и персонажи видео остаются без изменений, а заменённый 3D-персонаж полностью воспроизводит движения человека из исходного видео, и его действия остаются согласованными.
Главная страница проекта Motionshop:https://aigc3d.github.io/motionshop/
Технические принципы Motionshop:
1. Обработка видео и извлечение фона: с помощью технологий обработки видео из исходного видео выделяются люди, оставляя фон без людей. Этот шаг включает сложный анализ и обработку изображений, чтобы обеспечить целостность и непрерывность фона.
Обнаружение персонажей: Motionshop использует фреймворк на основе трансформеров для тесного объединения текстовой информации с существующими закрытыми детекторами, обеспечивая обнаружение объектов без примеров (zero-shot).
Сегментация и отслеживание: после успешного обнаружения цели пиксельная область цели отслеживается с помощью метода сегментации и трекинга объектов в видео.
Дорисовка (inpainting): оставшиеся области изображения в видео заполняются с помощью технологий видео-инпейнтинга, включая рекурсивное завершение потока, двойное распространение в области изображений и признаков и т. д.
2. Оценка позы: на этом этапе используются технологии оценки позы для анализа движений человека в видео. Это включает захват и анализ движений тела, оценку стабильных поз человека с помощью метода CVFFS, а также использование модели тела SMPL для представления 3D-тела.
3. Генерация анимации 3D-мультяшного персонажа: на основе оценённых поз и движений генерируется соответствующий 3D-анимированный персонаж. Этот процесс должен обеспечивать соответствие движений 3D-модели движениям человека в исходном видео.
4. Оценка освещения: чтобы 3D-модель естественно вписывалась в фон исходного видео, необходимо оценить условия освещения в видео и выполнить соответствующую обработку освещения 3D-модели.
5. Высокопроизводительный рендеринг: Motionshop использует высокопроизводительные трассировщики лучей, такие как TIDE, для рендеринга моделей 3D-мультяшных персонажей, обеспечивая высокую реалистичность и визуальные эффекты.
6. Композитинг видео: наконец, Motionshop встраивает отрендеренного 3D-мультяшного персонажа обратно в видео с фоном без людей, создавая итоговое видео.
Как пользоваться Motionshop:
Загрузите видео, ИИ автоматически распознает движущегося главного персонажа в видео и в один клик заменит его забавной 3D-моделью персонажа, создавая уникальное ИИ-видео.
Шаг первый: загрузите видео с человеком (убедитесь, что человек виден полностью, а длительность видео не превышает 15 секунд);
Шаг второй: выберите человека в видео для замены (автоматический выбор);
Шаг третий: выберите модель виртуального персонажа для замены и нажмите «Создать», подождите около 10 минут, чтобы получить результат.
Motionshop во многом может заменить Wonder Studio. Wonder Studio позволяет автоматически заменять людей в реальных сценах на CG-персонажей, а также выполнять анимацию, освещение и композитинг.
