EchoMimic: 알리페이 오픈소스 디지털 휴먼 104

EchoMimic은 Ant Group Alipay의 오디오 기반 초상화 애니메이션 생성 도구로, 편집 가능한 랜드마크 조건을 통해 사실적이고 자연스러운 애니메이션을 생성합니다. 사용자는 필요에 따라 애니메이션 세부 사항을 조정할 수 있으며, 가상 스트리머, 영상 편집 등에 활용할 수 있습니다. SadTalker, MuseTalk보다 효과가 뛰어나며 더 풍부한 표정과 더 자연스러운 동작을 구현합니다.

EchoMimic은 인물 얼굴 특징과 오디오를 바탕으로 인물 립싱크를 도와주며, 얼굴 랜드마크와 오디오 내용을 결합하여 비교적 안정적이고 자연스러운 영상을 생성합니다.

EchoMimic 기능:

• 오디오 기반 애니메이션: 오디오를 통해 인물 초상화 애니메이션(노래, 말하기 영상 등)을 생성합니다.

• 자세 기반 애니메이션: 자세 데이터에 따라 인물 초상화 애니메이션을 생성합니다.

• 오디오 및 자세 혼합 기반 애니메이션: 오디오와 자세 데이터를 동시에 사용하여 애니메이션을 생성합니다.

• WebUI 및 GradioUI: 사용하기 쉬운 그래픽 인터페이스를 제공합니다.

• 편집 가능한 랜드마크 조절: 사용자가 특정 얼굴 랜드마크를 선택하여 애니메이션을 제어할 수 있어 더 큰 유연성과 맞춤 기능을 제공합니다.

• 다국어 지원(중국어 만다린, 영어 포함) 및 다양한 스타일을 지원하며, 노래 등 다양한 상황에도 대응 가능합니다.

EchoMimic 활용:

• 초상화 이미지 애니메이션: 오디오 입력을 사용하여 정적 이미지에서 동적 영상을 생성하며, 엔터테인먼트, 가상 아바타 및 디지털 커뮤니케이션에 활용할 수 있습니다.

• 안정성과 자연스러움 향상: 두 가지 입력을 결합하여 오디오 기반 방식의 불안정성과 키포인트 기반 방식의 부자연스러움을 극복합니다.

• 맞춤형 애니메이션: 사용자는 특정 얼굴 랜드마크를 편집하여 원하는 애니메이션 효과를 구현할 수 있습니다.

ComfyUI EchoMimic: https://github.com/smthemex/ComfyUI_EchoMimic

EchoMimic 프로젝트: https://badtobest.github.io/echomimic.html

EchoMimic Github: https://github.com/BadToBest/EchoMimic

EchoMimic 모델: https://huggingface.co/BadToBest/EchoMimic

EchoMimic은 Ant Group Alipay 단말 기술부에서 개발한 오디오 입력 기반 사실적인 초상화 애니메이션 생성 기술입니다. 편집 가능한 랜드마크 조절을 통해 사실적인 얼굴 동작과 표정을 구현하며, 이를 통해 높은 수준의 맞춤성과 자연스러운 외형의 애니메이션을 실현합니다.