DreamActor-M1: 字节跳动推出的, 한 장의 인물 사진을 동작 영상에 교체하는 프레임워크 116

小编 · 2025-04-04

DreamActor-M1는 ByteDance推出的한拡散 변환기(DiT) 기반 휴먼 이미지 애니메이션 프레임워크로, Runway의 Act One과 유사합니다. 참조 이미지를 입력하면 영상에서 캡처한 인간 동작을 모방하여 초상화부터 전신까지 다양한 스케일에서 표현력 있고 사실적인 애니메이션을 생성합니다. 다른 프레임워크에서 나타나는 표정과 동작의 세부 표현 부족, 장편 영상에서 디테일 불일치 문제를 해결하고, 다양한 동작 스타일을 지원하며 Act-One 및 Animate보다 뛰어난 성능을 보입니다.

DreamActor-M1: 字节跳动推出的, 한 장의 인물 사진을 동작 영상에 교체하는 프레임워크

DreamActor-M1이란 무엇인가요?

DreamActor-M1은字节跳动(바이트댄스)에서 출시한 확산 트랜스포머(DiT) 기반 인간 이미지 애니메이션 프레임워크로, Runway의 Act one과 유사합니다. 참조 이미지가 주어지면 DreamActor-M1은 비디오에서 포착된 인간 행동을 모방하여 여러 스케일(초상화에서 전신 애니메이션까지)의 고도로 표현력 있고 사실적인 영상을 제작할 수 있으며, 다른 프레임워크에서 표정과 동작이 충분히 세밀하지 않고 장시간 영상에서 세부 사항이 맞지 않아 누락되는 문제를 해결합니다. 다양한 동작 스타일을 지원하며 Act-One, Animate Everyone, SkyReels-A1보다 성능이 우수합니다.

DreamActor-M1이란 무엇인가요?.webp

DreamActor-M1 핵심 기능

정적 사진을 동적 영상으로 변환: 한 장의 정적 사진과 참조 동작 영상을 결합하여 사진 속 인물을 영상 장면에 자연스럽게 합성하고, 표정이 세밀하고 동작이 자연스러우며 화질이 고화질인 동적 영상을 생성합니다.
정밀한 제어: 암묵적 얼굴 표현, 3D 헤드 스피어 및 3D 신체 골격과 같은 제어 신호를 결합한 하이브리드 가이드 메커니즘을 채택하여 인물의 얼굴 표정과 신체 동작을 정확하게 제어합니다.
유연한 동작 전달: 얼굴 표정과 머리 움직임 등 일부 동작만 전달하는 것을 지원합니다.
얼굴 애니메이션 지원: 오디오 기반 얼굴 애니메이션까지 확장 가능하며, 다국어 립싱크를 구현합니다.
형태 인식 애니메이션: 골격 길이 조정 기술을 통해 형태에 적응하는 애니메이션 생성을 구현합니다.
다양한 스타일 지원: 다양한 캐릭터와 동작 스타일에 대해 견고합니다.
다중 시점 지원: 다양한 머리 자세에서 애니메이션 결과를 생성할 수 있습니다.

DreamActor-M1 기술 원리

하이브리드 가이드 메커니즘: 암묵적 얼굴 표현, 3D 헤드 스피어 및 3D 신체 골격과 같은 제어 신호를 결합하여 생성된 애니메이션이 세부 사항에서 고도로 사실적이면서 전체적인协调性和 유창성을 유지하도록 보장합니다.
다중 스케일 적응성: 점진적 학습 전략을 통해 다양한 신체 자세와 다양한 해상도의 이미지를 처리할 수 있으며, 초상화에서 전신 뷰까지의 변환을 지원합니다.
장기적 시간 일관성: 연속 프레임의 동작 패턴과 시각적 참조를 통합하여 복잡한 동작에서 관찰되지 않은 영역의 시간 일관성을 보장합니다.
얼굴 애니메이션 및 음성 지원: 오디오 기반 얼굴 애니메이션을 지원하며, 다국어 립싱크를 구현할 수 있습니다.

DreamActor-M1 기술 원리.jpg