HunyuanVideo-Avatar: Tencent Hunyuan의 오디오 기반 디지털 휴먼 모델 71

HunyuanVideo-Avatar란 무엇인가요?

HunyuanVideo - Avatar는 텐센트 혼위안(Tencent Hunyuan)이 텐센트 혼위안 비디오 대규모 모델(HunyuanVideo) 기반으로 오픈소스로 공개한 음성 디지털 휴먼 모델입니다. 오디오 기반으로 구동되며, HunyuanVideo-Avatar 기술은 동적인 인물 영상을 생성하고 인물의 말하기, 몸동작, 머리 움직임 및 표정까지 표현할 수 있으며, 여러 캐릭터가 상호작용하는 장면도 지원합니다. 이 모델의 목적은 오디오 기반 인물 애니메이션 분야의 세 가지 난제를 해결하는 것으로, 높은 동적 영상을 생성하면서 캐릭터 일관성을 유지하고, 캐릭터와 오디오 간의 정밀한 감정 정렬을 구현하며, 다중 캐릭터 오디오 기반 애니메이션을 지원하는 것입니다.

HunyuanVideo - Avatar 기능 및 특징

• 다양한 샷 지원: 어깨 위 클로즈업, 반신, 전신 등 다양한 샷을 지원하며, 사용자는 필요에 따라 적절한 촬영 시점을 선택할 수 있습니다.

• 다양한 스타일 및 다종 시나리오: 사이버펑크, 2D 애니메이션, 중국 수묵화 등 다양한 스타일, 로봇이나 동물 등 다양한 종, 그리고 두 사람이 등장하는 장면을 지원합니다.

• 높은 일관성과 높은 동적성을 갖춘 비디오 생성: 입력된 인물 이미지와 오디오를 기반으로 이미지 및 오디오 내용을 자동으로 이해합니다. 예를 들어 인물이 있는 환경, 오디오에 담긴 감정 등을 파악하여 이미지의 인물이 자연스럽게 말하거나 노래하도록 합니다. 자연스러운 표정, 입 모양 싱크, 전신 동작을 포함한 영상을 생성하면서, 영상 속 주체의 일관성과 영상의 전체적인 동적성을 보장합니다.

• 폭넓은 활용 시나리오: 숏폼 영상 제작, 이커머스 및 광고 등 다양한 활용 시나리오에 적합합니다. 다양한 장면에서 인물의 말하기, 대화, 연기 등의 클립을 생성하고, 제품 소개 영상이나 다중 인물 상호작용 광고를 빠르게 제작하여 제작 비용을 효과적으로 절감할 수 있습니다.

• 다중 캐릭터 정밀 구동: 다중 인물 상호작용 시나리오에서 여러 캐릭터를 정밀하게 구동하여 입 모양, 표정, 동작이 오디오와 동기화되고 상호작용이 자연스럽게 이루어지도록 합니다.

HunyuanVideo - Avatar 기술 혁신

• 캐릭터 이미지 주입 모듈: 멀티모달 확산 트랜스포머(MM - DiT) 아키텍처를 기반으로 캐릭터 일관성과 영상 동적성을 보장하여, 영상 생성 시 인물 이미지의 높은 일관성을 유지하면서도 동작을 부드럽고 자연스럽게 만드는 문제를 해결했습니다.

• 오디오 감정 모듈(AEM): 오디오와 참조 이미지에서 감정 정보를 추출하여 섬세한 표정과 동작을 생성하며, 디지털 휴먼이 오디오의 감정에 맞춰 соответствующее 얼굴 표정을 보여줄 수 있도록 합니다.

• 얼굴 인식 오디오 어댑터(FAA): 얼굴 마스크 기술을 통해 캐릭터 오디오를 분리하여 다중 인물 시나리오의 정밀한 구동을 가능하게 합니다. 이를 통해 서로 다른 인물의 입 모양과 표정을 독립적으로 구동하여 다른 인물 간의 동작이 서로 영향을 주지 않도록 합니다.

HunyuanVideo - Avatar 사용 방법

텐센트 혼위안 공식 웹사이트(https://hunyuan.tencent.com/)의 "모델 광장 - 혼위안 비디오 생성 - 디지털 휴먼 - 음성 구동 - HunyuanVideo - Avatar"에서 체험할 수 있으며, 현재 14초 이내의 오디오 업로드를 지원하여 비디오를 생성할 수 있습니다.

HunyuanVideo - Avatar 활용 시나리오

• 숏폼 영상 제작: 다양한 장면의 대화, 연기 등 영상 클립을 빠르게 생성할 수 있습니다.

• 이커머스 광고: 제품 소개 영상, 다중 인물 상호작용 광고 등을 제작하는 데 사용됩니다.

• 가상 비서 또는 게임: 애니메이션 아바타를 제작하여 상호작용 경험을 향상시킵니다.

프로젝트 링크

프로젝트 홈페이지:https://hunyuanvideo-avatar.github.io

GitHub 주소:https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar