CineMaster: Kuaishou가 공개한 3D 인식 및 제어 가능한 텍스트-투-비디오 생성 프레임워크 183

대련이공대학교, 홍콩중문대학, Kuaishou Technology가 공동 발표한 3D 인식 및 제어 가능한 새로운 텍스트-투-비디오 생성 프레임워크로, 동영상 버전의 ControlNet이라 불립니다.

#Ai工具箱 #Ai视频生成

방문 CineMaster: Kuaishou가 공개한 3D 인식 및 제어 가능한 텍스트-투-비디오 생성 프레임워크

CineMaster: Kuaishou가 공개한 3D 인식 및 제어 가능한 텍스트-투-비디오 생성 프레임워크소개

CineMaster는 快手(쿠아이쇼우)가 최근 공개한 새로운 텍스트 투 비디오 생성 프레임워크로, 대련理工大学(大连理工大学), 홍콩 중문대학교(香港中文大学), 그리고 快手科技가 공동 발표한 3D 인식 및 제어 가능한全新的 텍스트 투 비디오 생성 프레임워크입니다. CineMaster는 사용자가 전문 영화감독에 버금가는 창작 능력을 발휘할 수 있도록 해주며, 장면 속 물체를 정밀하게 배치하고 3D 공간에서 물체와 카메라를 조작할 수 있을 뿐만 아니라每一 프레임의 구성을 직관적으로 디자인할 수 있게 해주어, 비디오 버전의 ControlNet이라 불립니다.

CineMaster는 사용자가 다양한 제어 신호를 통해 물체의 위치와 카메라 움직임을 정밀하게 제어할 수 있게 하여, 비디오 생성의 유연성과 정확성을 최적화했습니다.

즉, CineMaster는 사용자가 깊이 맵, 카메라 궤적, 물체 레이블 등 제어 신호를 입력할 수 있게 하며, 비디오를 생성할 때 사용자의 창작 의도를 보다 잘 실현할 수 있습니다. 애니메이션 제작, 비디오 게임 개발, 그 외 시각적 요소의 정밀한 제어가 필요한 다양한 분야에 활용됩니다.

CineMaster의 주요 기능:

장면 속 물체의 정밀 배치: 사용자는 3D 공간에서 물체의 위치와 카메라 움직임을 자유롭게 조정하여 고도로 제어 가능한 비디오 생성이 가능합니다.
각 프레임의 구성을 직관적으로 설계: 대화형 인터페이스를 통해 사용자는 실시간으로 렌더링 효과를 미리 보고 비디오의 각 프레임을 점진적으로 최적화할 수 있습니다.
조건 신호 기반 비디오 생성: 깊이 맵, 카메라 궤적, 물체 카테고리 레이블을 활용하여 확산 모델이 사용자의 디자인 의도에 부합하는 비디오 콘텐츠를 생성하도록 안내합니다.
시맨틱 레이아웃 주입 모듈 및 카메라 어댑터 도입: 생성된 비디오 콘텐츠가 시맨틱 및 시각적 측면 모두에서 사용자의 3D 디자인 의도에 부합하도록 보장하며, 복잡한 카메라 움직임을 지원합니다.

CineMaster의 하이라이트:

2단계 워크플로우: 1단계에서는 3D 인식 제어 신호를 구성하고, 2단계에서는 조건 신호를 기반으로 비디오를 생성합니다.
시맨틱 레이아웃 제어 네트워크: 3D 공간 레이아웃과 시맨틱 정보를 결합하여 각 개체의 위치를 정밀하게 제어합니다.
카메라 어댑터: 잔차 연결을 통해 카메라 자세를 생성 과정에 주입하여 복잡한 카메라 움직임을 지원합니다.

CineMaster 기술:

자동화된 데이터 주석 파이프라인: 인스턴스 분할, 깊이 추정, 3D 포인트 클라우드 및 바운딩 박스 계산, 개체 추적 및 3D 바운딩 박스 조정을 포함합니다.
실험 및 결과: 세 가지典型 시나리오에서 CineMaster의 성능은 기존 SOTA 방법을 크게 능가하며, 물체와 카메라 움직임을 정밀하게 제어합니다.

CineMaster应用.webp