Media2Face_云技派,专注ai人工智能! 80

В области искусственного интеллекта создание точных движений губ лица на основе голоса всегда оставалось постоянной задачей. Однако прорыв уже наступил — Media2Face.

Media2Face — это инструмент для генерации лицевой анимации в сопровождении речи, управляемый мультимодальными входными данными: аудио, текстом и изображениями. Он использует управляющие сигналы аудио-, текстовых и графических входов для естественного воспроизведения человеческой речи и представляет обобщённый нейронный параметрический лицевой аватар (GNPFA). Это эффективное скрытое пространство замены, разделяющее выражение и идентичность. Затем с помощью GNPFA из большого количества видео извлекается вариационный автокодировщик, который может отображать геометрию лица и изображения в высокообобщённое выражение, обеспечивая высококачественные эмоции и точные положения головы.

Из-за ограниченного объёма высококачественных 4D-данных о лице синтез 3D-лицевой анимации на основе речи сопряжён с трудностями. Однако с помощью Media2Face теперь можно легко генерировать реалистичную и выразительную лицевую анимацию из любых аудио-, графических или текстовых входных данных.

Media2Face способен генерировать синхронизированную с речью, выразительную 3D-анимацию лица на основе звука. Одновременно пользователю предоставляется возможность более тонкой индивидуальной настройки генерируемой анимации, например, эмоциональной регулировки — «радость» или «грусть». Media2Face также способен понимать несколько типов входной информации (аудио, текст, изображения) и использовать её в качестве руководства при создании лицевой анимации.

Практическое применение Media2Face:

• Создание диалоговых сцен: на основе написанного вами сценария компьютер может генерировать анимационные сцены с диалогами персонажей.

• Создание стилизованной лицевой анимации: вы можете дать компьютеру эмодзи, и он создаст анимацию на его основе.

• Эмоциональное пение: компьютер также может петь на разных языках, передавая соответствующие эмоции.

• Персонализированная анимация: самое удивительное, что этот проект способен создавать персонализированную лицевую анимацию с учётом различных рас, возрастов и пола.

• Кинопроизводственные компании используют Media2Face для генерации лицевой анимации виртуальных персонажей в фильмах.

• Платформы виртуальных ведущих используют Media2Face для создания мимики виртуальных ведущих.

• Компании-разработчики игр применяют Media2Face при создании виртуальных персонажей для генерации лицевой анимации.

Как работает Media2Face?

Принцип работы проекта Media2Face включает несколько ключевых технологий и этапов, позволяющих синтезировать из речи 3D-анимацию лица с богатыми выражениями и эмоциями. Ниже приведены основные этапы работы этого проекта:

1. Обобщённый нейронный параметрический лицевой аватар (GNPFA):

Прежде всего, исследовательская группа создала специальный инструмент (называемый GNPFA), который представляет собой большую базу данных выражений лица. Какое бы выражение вы ни хотели получить, этот инструмент поможет его найти, а также гарантирует уникальность анимации лица каждого человека, без смешения с другими.

Этот процесс обеспечивает разделение выражения и идентичности, то есть возможность переноса одного и того же выражения между разными идентичностями.

Затем с помощью этого инструмента они обработали множество видео, извлекая из них высококачественные выражения и движения головы. Так был создан огромный набор данных, содержащий разнообразную лицевую анимацию с соответствующими метками эмоций и стилей.

2. Мультимодально управляемая генерация анимации:

Media2Face использует диффузионную модель для генерации анимации в скрытом пространстве GNPFA, которая способна принимать мультимодальное управление от аудио, текста и изображений.

Модель использует аудиопризнаки и латентные коды CLIP в качестве условий вместе с зашумлённой версией последовательности латентных кодов выражений и кодами движения головы (т.е. позами головы) для устранения шума. Условия случайным образом маскируются и обрабатываются посредством перекрёстного внимания с кодами движения зашумлённой головы.

3. Генерация выражений и положений головы:

С помощью GNPFA из большого количества видео извлекаются высококачественные выражения и точные положения головы. Это представляет набор данных M2F-D — крупный, разнообразный и качественный набор данных совместной 3D-анимации лица с речью и хорошо размеченными метками эмоций и стилей.

4. Тонкая настройка выражений и стилей:

С помощью кодировщика выражений извлекаются латентные коды выражений ключевых кадров, а CLIP предоставляет подсказки стиля для каждого кадра, такие как «радость» или «грусть», что позволяет пользователю регулировать интенсивность и диапазон управления анимацией.

Благодаря описанным выше техническим этапам Media2Face способен генерировать синхронизированную с речью, выразительную 3D-анимацию лица, поддерживающую сложные эмоциональные выражения и стилевые вариации, что представляет собой мощный инструмент для создания виртуальных персонажей и улучшения интерактивного взаимодействия с AI-цифровыми людьми. Многочисленные эксперименты показывают, что Media2Face не только обеспечивает высокую точность при синтезе лицевой анимации, но и расширяет выразительность и стилевую адаптивность 3D-анимации лица.