MimicMotion: 동작 비디오 생성 프로젝트 126

텐센트와 상하이 교통대학교에서 출시한 MimicMotion은 임의의 길이와 모든 동작 가이드를 가진 고품질 비디오 생성 프레임워크로, 디테일이 풍부하고 사실적인 인간 동작 비디오를 생성할 수 있으며, 임의의 길이의 비디오 콘텐츠를 생성할 수 있고, 동작, 자세, 비디오 스타일 등을 포함한 비디오 콘텐츠를 정밀하게 제어할 수 있습니다.

알리바바의 통이 댄스 킹과 유사하지만, 효과가 통이 댄스 킹보다 훨씬 좋아 보이며, MimicMotion은 얼굴 특징과 립싱크를 지원하여 춤추는 비디오뿐만 아니라 디지털 휴먼도 제작할 수 있습니다.

최근 몇 년간, 생성형 인공지능은 이미지 생성 분야에서 상당한 발전을 이루었고 다양한 애플리케이션을 탄생시켰습니다. 그러나 비디오 생성은 제어성, 비디오 길이, 디테일의 풍부함 등 여러 면에서 여전히 상당한 도전에 직면해 있어, 이 기술의 적용과 보급을 저해하고 있습니다. 본 연구에서는 MimicMotion이라는 제어 가능한 비디오 생성 프레임워크를 제안하며, 이는 모든 동작 가이드 하에서 임의의 길이의 고품질 비디오를 생성할 수 있습니다. 이전의 방법들과 비교하여, 본 방법은

여러 가지 장점을 가지고 있습니다.

첫째, 신뢰도 기반 자세 가이드를 통해 시간적 부드러움을 구현할 수 있어, 대규모 학습 데이터로 모델의 일관되고 자연스러운 성능을 향상시킬 수 있습니다.

둘째, 자세 신뢰도에 기반한 영역 손실 증폭은 이미지의 왜곡을 크게 줄여, 생성된 이미지의 뒤틀림과 변형을 현저히 감소시킵니다.

마지막으로, 자연스러운 긴 비디오를 생성하기 위해 점진적 잠재 융합 전략을 제안합니다. 이러한 방식으로 허용 가능한 컴퓨팅 자원 소비 하에서 임의의 길이의 비디오 생성을 실현할 수 있습니다.

다수의 실험과 사용자 연구를 통해, MimicMotion은 여러 면에서 알리바바의 통이 댄스 킹 방법보다 현저한 개선을 이루었습니다.

MimicMotion 코드：https://github.com/Tencent/MimicMotion

MimicMotion ComfyUI 버전：https://github.com/aiFSH/ComfyUI-MimicMotion