JoyGen: 오디오 기반 3D 말하는 얼굴 영상 생성 프레임워크 117

JD Tech와 홍콩대학교가 공동 개발한 오디오 기반 3D 말하는 얼굴 영상 생성 프레임워크로, 입술과 오디오의 정밀한 동기화를 통해 화자의 입술 움직임과 표정을 정확히 모사하여 더욱 사실적인 영상을 생성합니다.

#Ai工具箱 #Ai开源项目

JoyGen: 오디오 기반 3D 말하는 얼굴 영상 생성 프레임워크소개

JoyGen은 징동 테크놀로지(JD Technology)와 홍콩대학교가 협력하여 개발한 오디오 기반3D 말하는 얼굴비디오 생성 프레임워크로, 새로운 2단계 프레임워크입니다. 이 기술은 오디오 입력을 통해 3D 깊이 인지 모델을 구동하여 정확한 입술과 오디오 동기화를 제공하며, 화자의 입술 움직임과 표정을 정교하게 모사하여 생성된 영상을 더욱 사실적으로 만듭니다. 주로 영상 편집 및 가상 상호작용 분야에서 활용됩니다.

JoyGen은 130시간 분량의 고품질 중국어 말하는 얼굴 데이터셋을 포함하여 학습에 사용되었습니다. 이 데이터셋은 오픈 소스인 HDTF(고해상도 깊이 맵 데이터셋)와 결합되어 중국어와 영어 입력을 지원합니다.

또한 JoyGen은 오디오의 감정적 특징도 고려하여, 생성된 애니메이션에서 미소나 찡그림 등 인물의 감정 변화를 자연스럽게 표현할 수 있어 매우 강력한 기능을 자랑합니다.

JoyGen의 핵심 기능:

다국어 지원: JoyGen은 중국어와 영어 등 여러 언어의 오디오 입력을 처리할 수 있습니다.
고품질 시각 효과: 섬세한 표정과 입술 디테일 처리를 통해 생성된 영상이 극도로 사실적입니다.
정확한 입술 동기화: 오디오 특징 분석과 얼굴 깊이 맵 기술을 통해 영상 속 인물의 입술 움직임을 오디오 콘텐츠와 완벽하게 일치시킵니다.
영상 편집 최적화: 새로운 영상을 생성할 뿐만 아니라, 기존 영상의 입술 움직임 편집도 가능하여 영상 전체를 처음부터 다시 제작할 필요가 없습니다.
효율적인 기술 아키텍처: 단일 단계 UNet 아키텍처를 채택하여 영상 편집 과정을 더욱 단순화했습니다.

기술 원리:

1. 오디오 기반 입술 움직임 생성:

3D 재구성 모델을 활용하여 얼굴 이미지에서 정체성 특징을 추출하고, 인물만의 고유한 얼굴 구조를 정의합니다.
오디오-모션 변환 모델을 통해 오디오 신호를 입술 움직임을 제어하는 표정 계수로 변환합니다.
정체성 계수와 표정 계수를 결합하여 미분 가능한 렌더링 기술로 얼굴 깊이 맵을 생성하고, 후속 영상 합성을 준비합니다.

2. 시각적 외관 합성:

단일 단계 UNet 네트워크가 오디오 특징과 깊이 맵을 통합하여 정확한 입술 움직임을 포함한 영상 프레임을 직접 생성합니다.
크로스 어텐션 메커니즘을 도입하여 입술 움직임과 오디오 신호의 높은 일치도를 보장하고 동기화를 강화합니다.
최적화 과정(L1 손실 함수 등)을 통해 영상 품질을 보장하며, 픽셀 단위와 잠재 공간 모두의 정확성을兼顾합니다.

JoyGen 사용 방법:

환경 구축: 사용자는 특정 conda 환경을 생성하고, Nvdiffrast 등 필요한 라이브러리를 포함한 필수 종속성 패키지를 설치해야 합니다.
사전 학습된 모델 다운로드: 3D 모델, 오디오-모션 모델 등 JoyGen의 사전 학습된 모델을 받으며, 이러한 리소스는 일반적으로 프로젝트 GitHub 페이지에서 제공됩니다.
추론 실행: 특정 스크립트와 매개변수를 실행함으로써 사용자는 오디오 파일을 사실적인 입술 동기화가 적용된 3D 말하는 얼굴 영상으로 변환할 수 있습니다.

JoyGen 활용 분야: