Помощник сценариста▸ 
AI Приложения 
AI Новости 
Audio2Face: создание 3D-анимации лица с помощью голоса
Audio2Face: создание 3D-анимации лица с помощью голосаОписание
Audio2Face — приложение на основе ИИ, которое генерирует выразительную 3D-анимацию лица с помощью голоса. Audio2Face упрощает анимацию 3D-персонажей, синхронизируя её с любой закадровой звуковой дорожкой, независимо от того, создаёте ли вы анимацию персонажей для игр, фильмов, цифровых ассистентов реального времени или просто для развлечения. Вы можете использовать это приложение для интерактивных приложений реального времени или в качестве традиционного инструмента для создания лицевой анимации.
Как работает Audio2Face?
Приложение Omniverse Audio2Face основано на оригинальной исследовательской работе NVIDIA Research. Audio2Face предварительно загружен «Digital Mark» — моделью 3D-персонажа, которую можно анимировать с помощью вашей звуковой дорожки, поэтому начать работу очень просто. Просто выберите аудио и загрузите его в приложение. Технология подаёт аудиовход на предварительно обученную глубокую нейронную сеть, выход которой в реальном времени управляет лицевой анимацией персонажа. Пользователи могут редактировать различные параметры постобработки, чтобы корректировать игру персонажа. Затем выход сети управляет 3D-вершинами сетки персонажа для создания лицевой анимации. Результаты, которые вы видите на этой странице, в основном являются необработанным выводом Audio2Face с минимальным редактированием параметров постобработки.
Практическое применение Audio2Face:
Языки
Audio2Face способен легко работать с любым языком. Мы регулярно добавляем всё больше и больше языков. Ознакомьтесь с этими тестами на английском, французском, итальянском и русском языках.
Анимированный чат-робот Misty
Misty, представленный на GTC Spring 2020, — это интерактивный погодный робот, управляемый Audio2Face в реальном времени. Мы продемонстрировали ретаргетинг с реалистичных человеческих сеток на стилизованные сетки персонажей для использования в качестве интерактивных сервисных агентов.
Omniverse Machinima
Audio2Face дебютировал на презентации серии GeForce 30, появившись в демонстрации Omniverse Machinima. Как известно, лицевая анимация очень сложна и дорогостояща. Audio2Face автоматизирует детализированную лицевую анимацию, делая процесс создания 3D-контента доступным для всех.
Лица
Audio2Face может использовать любую управляемую диалогом звуковую дорожку и в конечном итоге ретаргетинговать её на любое 3D-лицо, реалистичное или стилизованное. Посмотрите этот тест, где мы перенаправляем анимацию с Digital Mark на Rain.
Экспериментальные персонажи
Существа и инопланетяне
Эта функция позволяет ретаргетингить и управлять лицевой анимацией фантастических существ и инопланетян. Здесь Digital Mark управляет игрой инопланетянина.
