Помощник сценариста▸ 
AI Приложения 
AI Новости 
MagicAvatar_云技派,专注ai人工智能!
MagicAvatar_云技派,专注ai人工智能!Описание
MagicEdit — это метод видеомонтажа, представленный ByteDance. Это мультимодальная платформа, ориентированная на генерацию с использованием мультимодального ввода. Она способна преобразовывать различные типы ввода, такие как текст, видео и аудио, в сигналы движения, что позволяет генерировать и анимировать виртуального персонажа.
В частности, MagicAvatar позволяет создавать виртуальных персонажей с помощью простых текстовых подсказок, а также генерировать виртуальных персонажей, повторяющих заданные движения, на основе исходного видео. Кроме того, MagicAvatar может анимировать виртуальных персонажей по заданной теме. В будущем также появится возможность создания виртуальных персонажей на основе аудиовхода.
В отличие от прямой генерации видео, MagicAvatar чётко разделяет процесс создания видео на два этапа:
(1) преобразование мультимодальной информации в движение (motion);
(2) преобразование движения в видео.
На первом этапе мультимодальный ввод преобразуется в информацию о движении (например, позу тела, глубину, плотность), а на втором этапе генерируется видео, управляемое этими сигналами движения.
MagicAvatar генерирует видео, просто предоставляя несколько изображений целевого персонажа. Мы демонстрируем гибкость MagicAvatar на различных примерах применения, включая генерацию аватаров на основе текста и видео, а также мультимодальную анимацию аватаров.
MagicEdit также поддерживает множество приложений для редактирования, включая стилизацию видео, локальное редактирование, смешивание видео (такие функции, как Video-MagicMix и др.). Стилизация видео позволяет преобразовать исходное видео в определённый стиль, создавая новые сцены с различной тематикой и фоном, например реалистичные или мультяшные.
MagicEdit предоставляет пользователям превосходный инструмент для редактирования видео по тексту. Пользователи могут легко изменять стиль и сцену видео, а также заменять объекты в видео или добавлять новые элементы с помощью подсказок на естественном языке, сохраняя при этом исходные движения и внешний вид. Кроме того, MagicEdit предлагает функцию смешивания видео, позволяющую пользователям создавать совершенно новые концепции.
Кроме того, MagicAvatar также позволяет пользователям загружать изображения целевого персонажа для создания анимации конкретного человека, удовлетворяя индивидуальные потребности.
Проекты ByteDance в области ИИ-видео: MagicAvatar и MagicEdit демонстрируют впечатляющий потенциал в сфере мультимодального ввода и редактирования видео.
