Motionshop: 비디오 속 캐릭터를 3D 아바타로 교체 118

Motionshop은 ai 캐릭터 애니메이션 도구로, 최첨단 비디오 처리 및 3D 렌더링 기술을 통해 Motionshop은 동영상 속的人物을 자동으로 감지하여 3D 만화 캐릭터 모델로 교체하고 흥미로운 AI 동영상을 생성할 수 있습니다. 동시에 동영상의 다른 장면과 인물은 변경되지 않으며, 교체된3D 캐릭터는 원본 동영상 속 인물의 동작을 완벽하게 재현할 수 있으며, 동작이 일관되게 유지됩니다.

Motionshop 프로젝트 홈페이지:https://aigc3d.github.io/motionshop/

Motionshop의 기술 원리:

1, 비디오 처리 및 배경 추출: 비디오 처리 기술을 활용하여 원본 비디오에서 인물을 분리하고 사람이 없는 배경을 남깁니다. 이 단계는 배경의 완전성과 일관성을 보장하기 위해 복잡한 이미지 분석 및 처리를 포함합니다.

캐릭터 감지: Motionshop은 트랜스포머 기반 프레임워크를 사용하여 텍스트 정보를 기존의 폐쇄형 세트 감지기와 긴밀하게 통합하여 제로샷 객체 감지를 구현합니다.

분할 및 추적: 대상을 성공적으로 감지한 후, 비디오 객체 분할 추적 방법을 통해 픽셀 단위의 대상 영역을 추적합니다.

인페인팅: 비디오에 남아있는 이미지 영역은 재귀적 플로우 완성, 이미지 및 특징 도메인의 이중 도메인 전파 등을 포함한 비디오 인페인팅 기술을 통해 완성됩니다.

2, 자세 추정: 이 단계에서는 자세 추정 기술을 사용하여 비디오 속 인물의 동작을 분석합니다. 이는 CVFFS 방법을 사용하여 안정적인 인체 자세를 추정하고 SMPL 인체 모델을 사용하여 3D 인체를 표현하는 것을 포함하여 인체 동작의 캡처 및 분석과 관련됩니다.

3, 3D 만화 캐릭터 애니메이션 생성: 추정된 자세와 동작에 따라 해당 3D 애니메이션 캐릭터를 생성합니다. 이 과정에서는 3D 모델의 동작이 원본 비디오의 인물 동작과 일치하는지 확인해야 합니다.

4, 조명 추정: 3D 모델이 원본 비디오 배경에 더 자연스럽게 융합되도록 하려면 비디오의 조명 조건을 추정하고 3D 모델에 대해 해당 조명 처리를 수행해야 합니다.

5, 고성능 렌더링: Motionshop은 TIDE와 같은 고성능 레이 트레이싱 렌더러를 사용하여 3D 만화 캐릭터 모델을 렌더링하여 높은 수준의 사실감과 시각적 효과를 보장합니다.

6, 비디오 합성: 마지막으로 Motionshop은 렌더링된 3D 만화 캐릭터를 사람이 없는 배경 비디오에 합성하여 최종 비디오 결과를 생성합니다.

Motionshop 사용 방법:

동영상을 업로드하면 AI가 동영상 속 움직이는 주요 인물을 자동으로 식별하고 한 번의 클릭으로 흥미로운 3D 캐릭터 모델로 교체하여 독특한 AI 동영상을 생성합니다.

첫 번째 단계: 인물이 포함된 동영상을 업로드합니다(인물이 완전한 상태인지 확인하고 동영상 길이는 15초를 초과하지 않아야 함);

두 번째 단계: 동영상에서 교체할 인물을 선택합니다(자동 선택);

세 번째 단계: 교체할 가상 캐릭터 모델을 선택하고 생성을 클릭하면 10분 정도 기다리면 결과가 생성됩니다.

Motionshop은 기본적으로 Wonder Studio를 대체할 수 있습니다. Wonder Studio는 현실 장면의 인물을 CG 캐릭터로 자동 변환 및 교체할 수 있을 뿐만 아니라 애니메이션, 조명 및 합성도 수행할 수 있습니다.