MotionFollower: 한 영상의 인물 동작을 다른 영상의 인물로 전송 190

비디오 편집의 역동적인 영역에서 한 비디오의 동작을 다른 비디오로 원활하게 전송하는 기능은 항상 사람들이 열망해 온 기능이었습니다. MotionFollower는 원본 비디오의 배경과 주인공 외모를 유지하면서 정밀한 동작 편집을 구현하는 획기적인 솔루션으로 등장했습니다. 이러한 경량화된 점수 유도 확산 모델은 비디오 동작 편집의 가능성을 재정의하여 비할 데 없는 성능과 효율성을 제공합니다.

예를 들어, 두 개의 비디오가 있다고 가정해 보겠습니다.

소스 비디오: 풍경 좋은 공원의 비디오로, 주인공은 빨간 옷을 입은 여성으로 아무 동작 없이 서 있습니다.

타겟 비디오: 댄스 비디오로, 주인공은 파란 옷을 입은 남성으로 춤을 추고 있습니다.

MotionFollower를 사용하면 타겟 비디오에서 남성의 댄스 동작을 소스 비디오의 여성에게 전송할 수 있습니다.

동시에 소스 비디오의 인물에게 동작 정보를 전송할 때 의상, 외모 등 소스 비디오 인물의 외모 특성을 그대로 유지하고 동작만 변경합니다.

기술적 통찰:

MotionFollower는 원본 주인공의 외모와 배경에 영향을 주지 않으면서 비디오의 동작 정보를 수정하는 과제를 해결한 덕분에 두드러집니다. MotionFollower는 경량 신호 컨트롤러를 활용하여 자세와 외모를 제어하고, 컨볼루션 블록을 통해 이러한 제어를 디노이징 프로세스에 통합하여 대규모 어텐션 계산의 필요성을 없애줍니다. 이 모델은 재구성과 편집 분기라는 두 분기 아키텍처를 채택하여 텍스처 세부 사항과 복잡한 배경을 보존하기 위한 점수 유도 원칙을 보장합니다.

아키텍처 개요. 학습过程中 두 개의 경량 신호 컨트롤러와 U-Net이 학습 가능합니다.

MotionFollower의 핵심은 타겟 자세와 소스 외모를 개별 신호로 인코딩하여 동작을 조작할 수 있다는 것입니다. 점수 유도 원칙은 모델링 능력을 향상시켜 점수 추정 과정에서 적절한 지도를 주입하여 원본 비디오와 편집된 비디오 간의 일관성을 유지합니다. 이 방법은 GPU 메모리 사용량을 크게 줄이는 동시에(MotionEditor와 같은 주요 경쟁 제품과 비교하여 최대 80%까지) 대규모 카메라 동작과 복잡한 배경을 처리하는 데 있어 우수한 성능을 제공합니다.

MotionFollower와 다른 최첨단 모델의 정성적 비교

산업 응용:

MotionFollower의 응용 범위는 다양한 산업 분야에 걸쳐 있습니다. 엔터테인먼트 분야에서 편집자는 참조 비디오의 복잡한 댄스 동작이나 액션 시퀀스를 새 콘텐츠로 전송하여 대규모 재촬영 없이 놀라운 시각 효과를 만들어 비디오 제작에 혁신을 가져올 수 있습니다. 광고에서 브랜드는 제품이 변화하는 환경과 상호 작용하는 역동적인 광고를 제작하여 청중의 참여도와 창의성을 높일 수 있습니다. 또한 스포츠 분석 분야에서 MotionFollower는 운동선수의 동작을 분석하여 코치와 트레이너가 시각화 및 비교 기술을 통해 더 나은 훈련 프로그램을 개발하는 데 도움을 줄 수 있습니다.

미래 전망:

미래를 내다보면, MotionFollower는 비디오 편집 기술의 추가 발전을 위한 토대를 마련합니다. 미래의 발전에는 실시간 동작 편집 기능이 포함되어 라이브 스트리밍 및 대화형 가상 현실 경험에서의 사용을 확대할 수 있습니다. 인공지능 기반 향상 기능의 결합은 계속해서 한계를 뛰어넘어 비디오 콘텐츠에 대한 더 정밀하고 창의적인 제어를 가능하게 할 것입니다. 기술이 성숙해짐에 따라 비디오 제작의 새로운 시대가 열릴 것이며, 상상력의 제한만이 유일한 한계가 될 것입니다.

MotionFollower는 단순한 도구가 아니라 비디오 편집 혁신의 촉매제입니다. 경량화되고 효율적인 동작 전송 솔루션을 제공하여 다양한 분야의 창작자들에게 새로운 가능성을 열어줍니다. 이 혁신적인 모델은 비디오 동작 편집의 새로운 표준을 제시하여 모든 사람이 복잡하고 고품질의 편집을 수행할 수 있도록 합니다.