Magic Animate_云技派,专注ai人工智能! 116

Magic Animate는 획기적인 오픈소스 프로젝트로, 애니메이션 제작을 간소화하여 단일 이미지와 동적인 비디오로부터 애니메이션 영상을 만들 수 있게 해줍니다. 간단히 말해, 참조 이미지 하나와 포즈 시퀀스(비디오)가 주어지면, 포즈 움직임을 따르면서 참조 이미지의 정체성 특징을 유지하는 애니메이션 영상을 생성할 수 있습니다. 싱가포르 국립대학교의 Show Lab과 바이트댄스가 만들었습니다.

Magic Animate는 모든 댄스 비디오 솔루션 중에서 가장 높은 일관성을 제공하지만, Magic Animate의 얼굴과 손 부분에서 약간의 왜곡이 발생할 수 있습니다. 기본 설정은 특히 비디오 안의 얼굴에서 애니메이션 스타일에서 사실적 스타일로의 변화를 일으킬 수 있습니다. 기본 DensePose 드라이빙 비디오에 애니메이션 스타일을 적용하면 신체의 비율에도 영향을 미칠 수 있습니다.

Magic Animate 공식 웹사이트 주소:www.magicanimate.org

MagicAnimate의 핵심 기능:

• 단일 이미지와 동적 비디오로부터 애니메이션 생성

• 시간적 일관성 유지

• 참조 이미지 보존

• 애니메이션 충실도 향상

• DALLE3 등 T2I 확산 모델과의 통합

• 신원 간 애니메이션 및 알려지지 않은 영역에서의 애니메이션

• 텍스트 프롬프트를 사용한 이미지 애니메이션

• 댄스 비디오 솔루션에서 높은 일관성 유지

MagicAnimate 사용 방법:

Magic Animate를 사용하려면 StableDiffusion V1.5 및 MSE-finetuned VAE의 사전 훈련된 기본 모델을 다운로드해야 합니다. 그런 다음 필요한 의존성을 설치하고 conda 환경을 활성화할 수 있습니다. 이후 정적인 인물 사진을 한 장 업로드하고, 생성하고자 하는 동작 데모 영상을 업로드한 다음 매개변수를 조정합니다. 그 후 Huggingface 또는 Replicate에서 온라인 데모를 시도해 볼 수 있습니다. 또한 Replicate API를 사용하여 프로그래밍 방식으로 애니메이션 영상을 생성할 수도 있습니다.