Audio2Photoreal: создание реалистичных виртуальных персонажей из аудио 213

Meta aiнедавно представила взрывную технологию: Audio2PhotoReal, которая генерирует реалистичные полнотелые изображения виртуальных персонажей из аудио.Она может генерировать реалистичные выражения лица, полное тело и жесты, соответствующие разговору, на основе голоса из диалога нескольких людей.

Эти сгенерированные виртуальные персонажи не только визуально реалистичны, но и способны точно отражать детали жестов и выражений в разговоре, такие как указание, подёргивание запястья, пожимание плечами, улыбка, насмешка и т.д.

Принцип работы Audio2PhotoReal:

Audio2PhotoReal сочетает в себе разнообразие выборки векторного квантования и преимущества высокочастотных деталей, полученных с помощью диффузии, для генерации более динамичных и выразительных движений.

1. Сбор данных: сначала был собран набор данных диалогов между двумя людьми, позволяющий выполнять реалистичную реконструкцию.

2. Построение модели движения: проект построил составную модель движения, включающую модель движения лица, предиктор управляющей позы и модель движения тела.

3. Генерация движения лица: использование предварительно обученного регрессора губ для обработки аудио и извлечения признаков, связанных с движением лица.

Для генерации движения лица на основе этих признаков используется условная диффузионная модель.

4. Генерация движения тела: на вход подаётся аудио, авторегрессионно выводящее 1 кадр управляющей позы в секунду с помощью векторного квантования (VQ). Аудио и управляющая поза вместе подаются в диффузионную модель для генерации высокочастотного движения тела со скоростью 30 кадров в секунду.

5. Рендеринг виртуального персонажа: сгенерированные движения лица и тела передаются в обученный рендерер виртуального персонажа для создания реалистичного виртуального персонажа.

6. Демонстрация результатов: в итоге демонстрируются реалистичные полнотелые виртуальные персонажи, сгенерированные на основе аудио, которые способны отображать тонкие выражения и жесты в разговоре.

Адрес проекта Audio2Photoreal:https://github.com/facebookresearch/audio2photoreal/

Адрес статьи Audio2Photoreal:https://arxiv.org/pdf/2401.01885.pdf