Phantom: 크로스모달 정렬 기반 주체 일관성 비디오 생성 시스템 135

Phantom은 바이트댄스가 개발한 새로운 유형의 비디오 생성 도구로, 얼굴 참조 이미지를 기반으로 비디오를 생성합니다. 이 과정에서 얼굴 윤곽,五官 비율, 표정과 같은 참조 얼굴의 정체성 특징을 정확하게 보존하면서도 매우 생동감 있는 비디오 콘텐츠를 제작할 수 있습니다.

Phantom의 특별한 점은 비디오 생성 시 개인 특징에 대해 엄격한 보존 능력을 가지고 있다는 것입니다. 예를 들어, 사용자가 자신의 사진을 제공하면 Phantom이 생성한 비디오에서 인물 이미지가 변형, 왜곡되거나 다른 요소와 충돌하는 상황이 발생하지 않습니다. 이러한 특성은 사용자에게 개인화된 비디오를 창작할 수 있는 새로운 길을 열어줍니다.

Phantom의 제품 기능:

정체성 유지 비디오 생성

• 얼굴 참조 이미지를 통해 비디오를 생성하며, 주체의 정체성 특징(얼굴, 자세 등)을 엄격하게 보존합니다.

• 프롬프트에 따라 주체와 일치하는 비디오 콘텐츠(동작, 장면 변화 등)를 동적으로 생성하는 것을 지원합니다.

단일 참조 주체 비디오 생성

• 물체: 참조 이미지의 물품 형태와 위치를 정확하게 재현합니다.

• 의상/가상 캐릭터: 의상의 텍스처, 색상 및 가상 캐릭터의 동적 일관성을 유지합니다.

• 동물: 동물의 행동과 상호작용 로직을 시뮬레이션합니다.

다중 참조 주체 비디오 생성

• 군중 장면: 여러 사람의 협력 동작, 대화의 동적 생성.

• 제품 전시: 다양한 장면에서 상품의 회전,试用 효과.

• 가상 착용: 사용자가 이미지를 업로드한 후 가상 의상 교체, 착용 효과 비디오를 생성합니다.

Phantom의 기술적 우위:

• 고도의 일관성: 주체 특징, 세부 요소가 비디오에서 안정적으로 유지됩니다.

• 유연한 입력: 단일 이미지 또는 다중 이미지 참조를 지원하여 사용자 사용门槛을 낮춥니다.

• 크로스 모달 정렬: 이미지와 텍스트 설명의 정확한 일치を実現하여 생성 효과를 향상시킵니다.

Phantom의 응용 시나리오:

콘텐츠 창작 분야

• 짧은 비디오 생성: 개인화된 짧은 비디오(가상 앵커, 단막 드라마 등)를 빠르게 생성합니다.

• 광고 마케팅: 제품을 위한 동적 데모 비디오를 생성하여 전자상거래, 소셜 미디어推广에 적합합니다.

수직 산업 응용

• 교육/훈련: 가상 캐릭터 교육 비디오를 제작하여 상호작용성을 강화합니다.

• 영화 엔터테인먼트: 저비용의 애니메이션特效 또는 가상 장면 생성을 지원합니다.

• 의료/과학 연구: 수술 과정, 과학 실험의 시각적 데모를 시뮬레이션합니다.

사용자 개인화 요구

• 가상 착용: 사용자가 셀카를 업로드하여 의상, 액세서리 착용 효과를 생성합니다.

• 디지털 아바타: 개인 사진을 기반으로 가상 이미지를 생성하고 동적 상호작용을 수행합니다.

Phantom의 기술적 돌파는 다양한 유형의 데이터 간의 연관성(예: 이미지와 장면 설명)을 분석함으로써,新一代 이미지 생성 기술을 연구 개발하여 생성된 화면이 실제에 더 가까운 질감을呈现하도록 합니다. 단 한 장의 정적 사진만 제공해도, 이 기술은 가상 이미지가 자연스럽게 움직이도록 할 수 있습니다——한 사람이 다양한 장면에서 동작 변화를 시뮬레이션하거나, 여러 가상 캐릭터가 상호작용(예: 여러 사람이 한 화면에서 대화, 상품 조합 전시)하는 것, 심지어「사용자가 사진을 업로드하면 의상을 착용해 볼 수 있는」효과 실현까지, 마치 마법처럼 직관적으로 가능해집니다.

이러한 기술적 특성은 동적 데모가 필요한 시나리오에 특히 적합합니다: 라이브 방송실에서 의상 소재 질감을 실시간으로展示, 교육 비디오에서 역사적 인물이 「살아 움직이며」 지식을 설명, 또는 광고 영상에서 제품이 자동으로 사용 방법을演示하는 등, 원래 복잡한 제작이 필요했던 이러한环节들을 이제 더 간단한 방식으로 효율적으로 구현할 수 있습니다.

GitHub：https://github.com/Phantom-video/Phantom

논문:https://arxiv.org/abs/2502.11079