DreamTalk: 인물 사진을 말하게 만드는 오픈소스 프레임워크 171

DreamTalk, 칭화대학교, 알리바바, 화중과기대가 공동 개발한 확산 모델(diffusion model) 기반 프레임워크로, 인물 사진이 말하도록 할 수 있으며, 노래, 다양한 언어의 음성, 잡음이 포함된 오디오 등 다양한 음성을 인물 아바타의 입술 움직임과 매칭할 수 있도록 지원합니다.

DreamTalk 데모 주소:https://dreamtalk-project.github.io

DreamTalk 프로젝트 주소:https://dreamtalk-project.github.io/

DreamTalk 논문 주소:https://arxiv.org/abs/2312.09767

DreamTalk 사용 시나리오:

• DreamTalk을 사용하여 다양한 언어와 표정 스타일을 가진 말하는 얼굴을 생성합니다

• 영상 제작에서 DreamTalk을 적용하여 사실적인 가상 캐릭터의 표정과 동작을 구현합니다

• 인간-컴퓨터 상호작용 시나리오에서 DreamTalk을 사용하여 자연스러운 표정과 입술 움직임을 구현합니다

DreamTalk 기능:

구체적으로 DreamTalk은 세 가지 주요 컴포넌트로 구성됩니다: 잡음 제거 네트워크, 스타일 인지형 입술 전문가, 스타일 예측기. 확산 기반의 잡음 제거 네트워크는 다양한 표정에서 일관되게 고품질의 오디오驱动的 남성의 얼굴 움직임을 합성할 수 있습니다. 입술 동작의 표현력과 정확도를 높이기 위해, 말하는 스타일에 주의하면서 립싱크를 안내할 수 있는 스타일 인지형 입술 전문가를 도입했습니다. 표정 참조 영상이나 텍스트에 대한 의존성을 제거하기 위해, 추가적인 확산 기반 스타일 예측기를 사용하여 오디오에서 직접 목표 표정을 예측합니다.

1, 잡음 제거 네트워크: 이것은 핵심 컴포넌트 중 하나로, 오디오驱动的男性의 얼굴 움직임을 생성하는 역할을 합니다. 잡음 제거 네트워크는 확산 모델을 사용하여 점진적으로 노이즈를 제거함으로써, 선명하고 고품질의 표정을 생성합니다. 이 과정은 노이즈가 있는 데이터에서 점진적으로 선명한 얼굴 움직임을 복원하는 것을 포함합니다.

2, 스타일 인지형 입술 전문가: 이 컴포넌트는 입술 동작의 표현력과 정확도를 높이는 데 집중합니다. 말하는 스타일을 분석하여 립싱크를 안내함으로써, 생성된 애니메이션이 자연스러우면서도 화자의 스타일에 부합하도록 보장합니다.

3, 스타일 예측기: 표정 참조 영상이나 텍스트에 대한 의존성을 제거하기 위해, DreamTalk은 확산 기반 스타일 예측기를 도입했습니다. 이 예측기는 오디오로부터 직접 목표 표정을 예측할 수 있어, 추가적인 표정 참조 영상이나 텍스트가 필요하지 않습니다.

4, 오디오 및 영상 처리: 오디오 입력을 처리하여 핵심적인 오디오 특징을 추출하고, 이러한 특징을 얼굴 애니메이션 구동에 사용합니다. 동시에, 특정 표정과 스타일을 추출하고 모방하기 위해 영상 입력을 처리할 수도 있습니다.

5, 데이터 및 모델 학습: 이러한 기능을 구현하기 위해, DreamTalk은 다양한 표정과 말하는 스타일을 가진 얼굴 애니메이션 데이터를 포함하여 모델 학습을 위한 방대한 양의 데이터를 필요로 합니다. 이러한 데이터를 통해, 모델은 입력 오디오와 일치하는 얼굴 움직임을 정확하게 생성하는 방법을 학습합니다.

DreamTalk은 강력한 확산 모델을 활용하여 표현력이 풍부한 얼굴을 효과적으로 생성하고, 값비싼 스타일 참조에 대한 의존성을 줄일 수 있습니다. 실험 결과는 DreamTalk이 다양한 말하는 스타일을 가진 사실적인 말하는 얼굴을 생성하고, 정확한 입술 동작을 구현하여 기존의 최첨단 동종 제품들을 능극한다는 것을 보여줍니다.

DreamTalk은 학습 과정에서 접한 얼굴 유형과 표정을 처리하고 생성할 수 있을 뿐만 아니라, 이전에 접하지 않았던 서로 다른 데이터셋에서 온 얼굴 유형과 표정도 효과적으로 처리하고 생성할 수 있습니다.

다양한 인종, 연령, 성별의 인물 초상화를 비롯하여, 다양한 표정과 감정을 포함합니다.