MAGREF: ByteDance가 공개한 다중 주제 비디오 생성 도구 72

小编 · 2025-06-14

MAGREF는 ByteDance가 공개한 다중 주제 비디오 생성 도구입니다. 단일 참조 이미지 하나로 단일 주제부터 다중 주제 시나리오까지 높은 일관성의 영상을 생성할 수 있습니다. 마스크 가이드와 채널 연결 메커니즘을 통해 기존 비디오 생성에서 흔히 발생하던 정체성 혼동과 동작 불일치 문제를 해결합니다. 또한 인물, 사물, 배경을 다양한 방식으로 조합할 수 있어 생성된 영상의 정체성 안정성과 구조적 일관성을 보장합니다.

MAGREF: ByteDance가 공개한 다중 주제 비디오 생성 도구

MAGREF는 字节跳动이 출시한 다중 피사체 비디오 생성 도구로, 사용자가 단 한 장의 참조 이미지만으로 일관성 높은 영상을 생성할 수 있게 해줍니다. 단일 피사체는 물론 여러 피사체가 등장하는 장면까지 모두 구현 가능합니다. 마스킹 가이드와 채널 연결 메커니즘을 통해 전통적인 비디오 생성에서 흔히 발생하던 정체성 혼동 및 동작 불협화 문제를 해결했습니다. MAGREF는 인물, 사물, 배경의 다양한 조합을 구현할 수 있어, 생성된 영상의 정체성 안정성과 구조적 일관성을 보장합니다.

MAGREF：字节跳动发布的一款多主体视频生成神器.webp

핵심 기능

다중 피사체 일관성 생성: 단 한 장의 참조 이미지만으로 인물이나 사물의 일관성이 높은 영상을 생성할 수 있으며, 여러 사람이 한 화면에 등장해도 "얼굴이 뒤바뀌는" 현상이 발생하지 않습니다. 예를 들어 아인슈타인이 오토바이를 타는 영상이나 뉴턴이 붓을 휘두르며 그림을 그리는 영상 등을 생성할 수 있습니다. 인물의 얼굴과 의상은 모든 프레임에서 일관되게 유지되어, 점점 괴상하게 변형되지 않습니다.
다양한 참조 이미지 처리: 마스킹 가이드와 채널 연결 메커니즘을 통해 모델 복잡도를 높이지 않으면서도 다양한 참조 이미지를 처리할 수 있습니다. 단독 연기, 다중 인물 상호작용, 인물과 사물 및 배경이 함께 등장하는 장면까지 안정적이고 조화로운 영상을 생성합니다.
멀티모달 입력 및 생성: 서로 다른 텍스트 프롬프트에 따라 "한 장의 이미지로 다양한 모습"을 구현할 수 있으며, 입력된 대상이 누구인지, 어느 시대에 살았는지, 스타일이 추상적인지와 관계없이 그 특징을 정확하게 재현하고 텍스트 지시에 따라 다양한 동작, 환경, 조명 효과를 생성합니다. 예를 들어 인물 사진 한 장, 사물 이미지 한 장, 배경 이미지 한 장에 설명 문장 한 단락을 더 입력하면, 이 세 가지 요소를 모두 포함한 완성된 영상을 생성할 수 있으며, 인물과 사물의 상호작용이 자연스럽고 장면도 전혀 어색하지 않습니다.

기술 구현

데이터 처리 흐름: 고품질의 구조가 명확한 비디오 학습 샘플을 구축하기 위해 3단계 데이터 처리 파이프라인을 채택했습니다. 1단계는 원본 비디오에서 의미적으로 일관된 클립을 분할하고, 품질이 낮은 샘플을 걸러낸 뒤 각 클립에 대해 구조화된 텍스트를 생성하는 과정입니다. 2단계는 라벨 추출과 시맨틱 세그멘테이션을 통해 비디오 내 핵심 사물을 식별하고 후처리를 거쳐 정밀한 마스크를 얻는 단계입니다. 3단계는 비디오에 등장하는 인물의 정체성을 검출하고 할당하여, 고품질 얼굴 이미지를 선별해 참조 이미지 구성에 사용함으로써 학습 과정에서 정체성 일관성을 확보합니다.

핵심 메커니즘

영역 인식 동적 마스크: 딥러닝의 어텐션 메커니즘을 기반으로 모델에 "동적 시각 인식" 능력을 부여합니다. 시맨틱 세그멘테이션 알고리즘으로 비디오 내 핵심 영역을 정밀하게 식별하고, 입력 프롬프트에 따라 각 피사체의 마스크 가중치를 실시간으로 조정합니다. 이를 통해 참조 이미지의 수와 순서가 달라지더라도 구조적 일관성을 유지하고, 정체성 혼동 없이 명확한 관계를 유지할 수 있습니다.
픽셀 단위 채널 연결: 이미지 생성의 저수준 기술에서 채널 차원(RGB 채널 + 피처 채널)으로 정보 융합을 수행합니다. 합성곱 신경망을 통해 참조 이미지의 외형 특징을 추출하고, 이를 생성된 장면의 피처 맵과 채널 차원에서 연결하여 인물의 피부색, 헤어스타일 등의 세부 요소가 참조 이미지와 높은 일관성을 유지하도록 합니다. 동시에 정규화 연산을 통해 다양한 장면의 조명 파라미터 간 균형을 맞춰 주체와 배경이 명암 차이로 인해 분리되어 보이는 현상을 방지합니다. 인물 초상화, 사물 이미지, 환경 사진을 동시에 입력받아 채널 단위 융합을 통해 논리적으로 자가 일관적인 크로스 모달 장면을 생성하는 것도 지원합니다.

활용 시나리오

영화·TV 제작: 영화·TV 제작의 사전 기획 및 특수 효과 워크플로우를 재구성할 수 있습니다. 예를 들어 대본 단계에서 동적 스토리보드를 생성해 감독이 장면의 톤과 캐릭터의 동작을 실시간으로 조정할 수 있습니다. 또한 역사극에서 소수의 병사 참조 이미지만 입력하면 고대 복식과 대형에 부합하는 대규모 군行进 영상을 대량으로 생성하는 등, 일부 그린 스크린 촬영 수요를 대체할 수도 있습니다.
게임 개발: 게임 콘텐츠의 반복 작업을 가속하고 몰입감을 향상시킬 수 있습니다. 게임 캐릭터 모델링 이미지를 기반으로, 다양한剧情 시점에서의 캐릭터 표정과 동작 영상을 빠르게 생성할 수 있으며, 도시 내에서 NPC의 일상 활동을 자동으로 생성해 프레임 단위로 인위적으로 애니메이션을 조정할 필요가 없습니다.