MagicTryOn: 저장대학교와 vivo가 공개한 오픈소스 영상 가상 착용 프로젝트 71

MagicTryOn이란 무엇인가?

MagicTryOn은 저장대학교(Zhejiang University)와 vivo가 협력하여 출시한 오픈소스 비디오 가상 피팅 프로젝트입니다. 비디오 확산 Transformer의 DiT 아키텍처를 사용하여 의상 피팅이 더욱 사실적이고 안정적으로 보이도록 합니다. 이 프로젝트는 완전 셀프 어텐션 메커니즘을 통해 비디오의 각 프레임이 일관성을 유지하도록 보장하며, 기존 방식에서 발생하던 깜빡임이나 떨림이 나타나지 않습니다. 주요 기능은 다음과 같습니다: 의상 디테일을 정확하게 보존하고, 다중 조건 가이드를 통해 더욱 사실적인 피팅 효과를 생성하며, 마스크 인식 손실을 사용하여 생성 품질을 향상시킵니다. 여러 데이터셋에서 MagicTryOn은 뛰어난 성능을 보이며, 시각적 품질과 일반화 능력이 모두 우수합니다.

MagicTryOn 기술 원리

• 확산 Transformer(DiT) 아키텍처: 이 아키텍처의 모듈식 설계는 조건 정보를 보다 유연하게 주입할 수 있게 하며, 다단계 의상 특징이 노이즈 제거 과정에 효과적으로 통합될 수 있습니다. 내장된 완전 셀프 어텐션 메커니즘은 비디오의 시공간 일관성을 공동으로 모델링하여 프레임 내 로컬 디테일과 프레임 간 동적 변화를 포착합니다.

• 粗细 단계 의상 보존 전략: 粗(거친) 전략은 임베딩 단계에서 의상 토큰을 입력 토큰 시퀀스에 주입하고 회전 위치 인코딩의 그리드 크기를 확장하여 의상 토큰과 입력 토큰이 일관된 위치 인코딩을 공유하도록 하는 것입니다; 细(세밀) 전략은 노이즈 제거 단계에서 의미론적 안내 교차 어텐션과 특징 안내 교차 어텐션 모듈을 도입하여 세밀한 의상 디테일 안내를 제공하는 것입니다.

• 마스크 인식 손실(Mask-Aware Loss): 이 손실을 기반으로 모델은 의상 영역 생성에 더욱 집중할 수 있으며, 의상 영역의 디테일 충실도와 전체 합성 결과의 사실성을 향상시킵니다.

MagicTryOn 주요 기능

• 의상 디테일 보존: 의상의 질감, 패턴, 윤곽을 정밀하게 시뮬레이션하여 사람이 움직일 때도 사실감과 안정성을 유지합니다.

• 시공간 일관성 모델링: 비디오의 각 프레임 간 일관성을 보장하여 의상의 깜빡임과 떨림을 방지합니다.

• 다중 조건 안내: 텍스트, 이미지 특징, 의상 토큰, 윤곽선 토큰 등 다양한 조건을 기반으로 더욱 사실적이고 세밀한 피팅 효과를 생성합니다.

MagicTryOn 활용 시나리오

• 온라인 쇼핑: 사용자가 온라인에서 다양한 의상을 피팅해 볼 수 있습니다.

• 패션 디자인: 디자이너가 의상 효과를 빠르게 미리 볼 수 있습니다.

• 가상 피팅룸: 오프라인 매장에 가상 피팅 서비스를 제공합니다.

• 광고 및 마케팅: 브랜드가 개인화된 피팅 광고를 제작할 수 있습니다.

• 게임 및 엔터테인먼트: 게임에서 가상 의상을 실시간으로 피팅합니다.

프로젝트 링크

프로젝트 공식 웹사이트:https://vivocameraresearch.github.io/magictryon/

GitHub 저장소:https://github.com/vivoCameraResearch/Magic-TryOn/

arXiv 기술 논문:https://arxiv.org/pdf/2505.21325