OmniHuman: сквозной мультимодальный фреймворк для генерации видео с цифровыми людьми 193

OmniHuman — этомультимодальная среда генерациицифровых людейвидео на основе диффузионного Transformer от ByteDance. Достаточноодной фотографии и аудиофрагмента, чтобы сгенерировать видео с практически идеальными движениями, артикуляцией и мимикой.

Среда OmniHuman расширяет масштаб данных за счёт смешивания условий, связанных с движением, на этапе обучения. Ключевой особенностью этой среды является её способность обрабатывать несколько входных модальностей, что позволяет генерировать более реалистичные и естественные видео с цифровыми людьми.

Ключевые особенности OmniHuman

• Мультимодальный ввод: OmniHuman поддерживает несколько форм ввода, включая текст, аудио и видео, что позволяет сгенерированному цифровому человеку проявлять более богатые эмоции и действия в различных сценариях, объединяя данные разных модальностей и преодолевая узкое место нехватки высококачественных данных.

• Расширение масштаба данных: Благодаря введению условий, связанных с движением, OmniHuman может эффективно расширять набор данных в процессе обучения, тем самым повышая обобщающую способность и выразительность генеративной модели.

• Высококачественный вывод: Среда использует передовые технологии глубокого обучения и способна генерировать высококачественные видео с цифровыми людьми, поддерживая не только настоящих людей, но и 3D-персонажей, а также аниме-персонажей, что применимо в прямых трансляциях, развлечениях, образовании и многих других областях.

• Генерация в реальном времени: OmniHuman также обладает возможностью генерации в реальном времени, позволяя пользователям мгновенно получать обратную связь и реакции цифрового человека в интерактивных сценариях.

OmniHuman также поддерживает несколько режимов управления, включая аудиоуправление, видеоуправление и комбинированные управляющие сигналы, что обеспечивает пользователям большую гибкость в выборе входных данных. Кроме того, OmniHuman способен обрабатывать взаимодействие человека с объектами и сложные позы тела, что дополнительно повышает реалистичность и выразительность выходного видео. Концепция дизайна среды OmniHuman заключается в полном использовании генерации движений на основе данных для достижения высокореалистичной генерации видео с людьми. По сравнению с существующими сквозными методами аудиоуправления OmniHuman не только создаёт более реалистичное видео, но и обеспечивает большую гибкость ввода. Образцы видео доступны на странице проекта ttfamily, демонстрируя эффекты применения в различных сценариях.

Сценарии применения OmniHuman

• Виртуальные ведущие: На платформах прямых трансляций OmniHuman может генерировать виртуальных ведущих, обеспечивая интерактивный контент и развлечения в реальном времени.

• Образование и обучение: Генерируя виртуальных учителей, OmniHuman может предоставлять персонализированный опыт обучения в онлайн-образовании.

• Разработка игр: В играх виртуальные персонажи могут быть созданы с помощью OmniHuman, что повышает погружение и интерактивность игрового процесса.

Адрес проекта OmniHuman: https://omnihuman-lab.github.io