Audio2Face: 음성으로 3D 얼굴 애니메이션 생성 127

Audio2Face는 음성으로 표현력이 풍부한 3D 얼굴 애니메이션을 생성하는 AI 기반 애플리케이션입니다. Audio2Face는 게임, 영화, 실시간 디지털 어시스턴트용 캐릭터 애니메이션을 제작하거나 단순히 재미로 사용할 때를 막론하고, 모든 내레이션 오디오 트랙에 맞춰 3D 캐릭터의 애니메이션을 간소화합니다. 이 애플리케이션을 인터랙티브 실시간 애플리케이션이나 전통적인 얼굴 애니메이션 제작 도구로 사용할 수 있습니다.

Audio2Face는 어떻게 작동하나요?

Omniverse Audio2Face 애플리케이션은 NVIDIA Research의 원본 논문을 기반으로 합니다. Audio2Face에는 "디지털 마크(Digital Mark)"라는 3D 캐릭터 모델이 사전 설치되어 있어 오디오 트랙으로 애니메이션을 제작할 수 있으므로 쉽게 시작할 수 있습니다. 오디오를 선택하여 애플리케이션에 업로드하기만 하면 됩니다. 이 기술은 오디오 입력을 사전 훈련된 심층 신경망에 입력하고, 네트워크의 출력은 실시간으로 캐릭터의 얼굴 애니메이션을 구동합니다. 사용자는 다양한 후처리 매개변수를 편집하여 캐릭터의 연기를 편집할 수 있습니다. 그런 다음 네트워크의 출력은 캐릭터 메쉬의 3D 정점을 구동하여 얼굴 애니메이션을 생성합니다. 이 페이지에서 보시는 결과는 대부분 Audio2Face의 원시 출력이며 후처리 매개변수를 거의 편집하지 않은 것입니다.

Audio2Face의 실제 활용 사례:

언어

Audio2Face는 모든 언어를 쉽게 처리할 수 있습니다. 지원 언어는 정기적으로 계속 확장하고 있습니다. 영어, 프랑스어, 이탈리아어, 러시아어로 테스트한 내용을 확인해 보세요.

Misty 애니메이션 챗 봇

GTC Spring 2020에서 공개된 Misty는 런타임 시 Audio2Face로 구동되는 인터랙티브 날씨 봇입니다. 인터랙티브 서비스 에이전트로 활용하기 위해 사실적인 휴먼 메쉬에서 스타일라이즈된 캐릭터 격자 메쉬로 리타게팅(retargeting)하는 시연이 이루어졌습니다.

Omniverse Machinima

Audio2Face는 GeForce 30 시리즈 발표회에서 데뷔하여 Omniverse Machinima 데모에 등장했습니다. 얼굴 애니메이션은 매우 복잡하고 비용이 많이 드는 작업으로 잘 알려져 있습니다. Audio2Face는 상세한 얼굴 애니메이션을 자동화하여 3D 콘텐츠 제작 과정을 대중화합니다.

얼굴

Audio2Face는 모든 대화 구동 오디오 트랙을 사용할 수 있으며, 궁극적으로 사실적이든 스타일라이즈된 것이든 모든 3D 얼굴로 리타게팅할 수 있습니다. 디지털 마크(Digital Mark)에서 Rain으로 리타게팅하는 이 테스트를 확인해 보세요.

실험적 캐릭터

생물과 외계인

이 기능을 사용하면 판타지 생물과 외계인의 얼굴 애니메이션을 리타게팅하고 구동할 수 있습니다. 여기서는 디지털 마크(Digital Mark)가 외계인의 연산을 구동하는 모습을 보여드립니다.