Boximator: 비디오 합성을 위한 풍부하고 제어 가능한 동작 생성 292

Boximator는 바이트댄스(ByteDance)에서 출시한 도구로, 간단한 조작만으로 생성된 비디오에서主体的(대상)의 이동 경로를 제어할 수 있도록 하는 비디오 편집 도구입니다. 객체는 사용자가 그린 위치와 경로를 엄격히 따라 이동합니다. 이 도구의 혁신적인 점은 직관적인 상호작용 방식에 있는데, 움직여야 할 객체를 선택한 후 종료 위치와 이동 경로를 그리면, 사용자가 그린 위치와 경로를 엄격히 따라 움직이게 됩니다. Runway의 모션 브러시와 비교했을 때, Boximator는 객체의 이동 종료 위치를 보다 정밀하게 제어할 수 있습니다.

Boximator 논문: https://arxiv.org/abs/2402.01566

Boximator 데모: https://boximator.github.io/#Demo

Boximator 프로젝트: https://boximator.github.io/

Boximator 핵심 기능:

• 경로 제어: 사용자는 동그라미 선택 방식을 통해 비디오에서 대상의 이동 경로를 쉽고 직관적으로 설정할 수 있습니다.

• 다중 대상 지원: Boximator는 사용자가 여러 대상을 한꺼번에 선택하고 각 대상에 대해 서로 다른 이동 경로를 설정할 수 있도록 지원합니다.

• 경로 맞춤 설정: 기본적인 점대점 이동 외에도, 사용자는 비디오의 대상에 대해 구체적인 이동 경로를 설정할 수 있습니다.

• 플러그인 호환성: Boximator는 SD 비디오 모델과 호환되어 플러그인으로 사용 가능하며, 비디오 편집의 유연성과 다양성을 향상시킵니다.

• 사용자 친화적: Boximator는 조작이 간단하고 직관적이어서, 복잡한 비디오 편집 지식 없이도 사용자가 비디오 내용을 제어할 수 있습니다.
  

• 높은 호환성: 현재 인기 있는 SD 비디오 모델과 호환되어, 플러그인으로서 더 폭넓은 활용 가능성을 제공합니다.

• 혁신적인 상호작용: 혁신적인 동그라미 선택 상호작용 방식으로 비디오 편집을 더욱 직관적이고便捷하게 만듭니다.

Boximator 활용 시나리오:

• 비디오 콘텐츠 제작: 비디오 크리에이터에게 Boximator는 동적 비디오 제작을 위한 새로운 수단을 제공합니다.

• 애니메이션 제작: 애니메이션 제작자에게 있어, 인물이나 사물의 이동 경로 설계 과정을 간소화할 수 있습니다.

• 교육 시연: 교육 분야에서 교사는 이 도구를 사용하여 직관적인 동적 시연 자료를 만들 수 있습니다.

Boximator 사용법:

바이트댄스에서 발표한 방법으로, 먼저 이미지에서 대상을 동그라미로 선택한 다음 이동할 위치를 동그라미로 선택하면, 대상이 시작점에서 끝점까지 움직이는 동영상이 만들어지며, 이동 경로 설정할 수 있고 여러 대상 선택도 지원합니다. SD виде 모델과 호환되어 플러그인으로 사용 가능합니다.

Boximator 개요:

저희는 정밀한 운동 제어를 위한 새로운 방법인 Boximator를 제안합니다. Boximator는 두 가지 제약 메커니즘을 채택합니다: 하드 제약(hard box)과 소프트 제약(soft box).

사용자는 하드 제어를 이용하여 비디오의 특정 프레임(조건 프레임이라 함)에서 특정 객체를 선택한 다음, 이 두 가지 제약 방식을 통해 미래 화면에서 해당 객체의 위치, 형태 또는 이동 경로를 대략적으로 또는 엄격하게 지정할 수 있습니다. Boximator는 기존 비디오 합성 모델에 추가 모듈로 부착될 수 있습니다. 훈련 과정에서 원래 모델의 지식을 보존하기 위해, 원래 가중치를 고정하고 제어 모듈만 훈련하는 방식을 선택했습니다.

훈련 과정에서의 과제를 해결하기 위해, 저희는 혁신적인 자기 추적 기술을 도입했으며, 이는 박스로 선택된 객체와 그 연관성을 학습하는 과정을 크게 간소화했습니다.

실험을 통해 검증한 결과, Boximator는 비디오 품질 측면(즉 즉, FVD라는 비디오 품질 평가 표준)에서 업계 최정상 수준에 도달했으며, 두 개의 기초 모델에 비해 향상되었고, 박스 제약을 도입한 후에는 효과가 더욱 강화되었습니다. 또한包围盒对齐 지표의 현저한 향상을 통해 운동 제어에 대한 강력한 능력이 검증되었습니다.

평가 결과, 사용자들도 역시 Boximator가 생성한 비디오 효과를 기초 모델의 출력보다 더 선호하는 것으로 나타났습니다.