XVerse: ByteDance의 다중 피사체 이미지 합성 오픈소스 도구 61

XVerse는 字节跳动이 출시한 다중 주체 이미지 합성 도구로, 고정밀의 다중 주체 이미지 생성을 실현할 수 있습니다. 사용자가 여러 주체를 독립적이고 정밀하게 제어함으로써 복잡한 장면 생성 능력을 크게 향상시킵니다.

핵심 기능

• 다중 주체 제어: XVerse는 참조 이미지를 텍스트 흐름 변조 오프셋으로 변환하여 각 주체의 신원 특징을 정밀하게 제어하고 의미적 속성(자세, 스타일, 조명 등)을 독립적으로 조정합니다. 이를 통해 다중 주체 장면에서 기존의 모델에서 흔히 발생하던 신원 혼동 및 속성 얽힘 문제를 해결하여 고충실도, 편집 가능한 다중 주체 이미지 합성을 구현합니다.

• 텍스트 흐름 변조 강화: 참조 이미지 특징과 텍스트 프롬프트 특징을 결합하여 오프셋을 생성하고 이를 특정 텍스트 토큰 임베딩에 주입함으로써, XVerse는 생성된 이미지의 전체 구조를 유지하면서 각 주체에 대한 정밀한 제어를 실현하며 세부 사항을 세밀하게 조정할 수 있습니다.

• VAE 인코딩 이미지 특징: XVerse는 VAE로 인코딩된 이미지 특징을 보조 입력으로 도입하여 DiTs의 단일 블록에 주입합니다. 이는 이미지 세부 정보를 포착하고 재현하는 데 도움이 되며, 이미지 특징을 직접 주입할 때 발생할 수 있는 아티팩트 및 품질 저하를 방지합니다.

• 정규화 기법: 영역 보존 손실을 채택하여 변조되지 않은 영역에서 모델이 일관성을 유지하도록 강제하고, 서로 다른 주체의 특징을 구분하고 유지합니다. 텍스트-이미지 주의 손실을 통해 변조 모델과 참조 T2I 브랜치 간의 교차 주의 맵을 정렬하여 변조 과정에서 의미적 상호 작용의 일관성과 편집 가능성을 보장합니다.

XVerse 기술 원리

• 텍스트 흐름 변조 메커니즘: XVerse는 참조 이미지를 토큰별 텍스트 흐름 변조 오프셋으로 변환하여 모델의 텍스트 임베딩에 추가함으로써, 이미지 잠재 변수나 특징을 방해하지 않고 특정 주체에 대한 정밀한 제어를 실현합니다.

• VAE 인코딩 이미지 특징 모듈: 생성된 이미지의 세부 사항 보존 능력을 강화하기 위해 XVerse는 VAE 인코딩 이미지 특징 모듈을 도입했습니다. 이 모듈은 보조 모듈로서 생성 과정에서 모델이 더 많은 세부 정보를 보존하도록 돕고 아티팩트 및 왜곡을 줄입니다.

• 정규화 기법: 한쪽의 변조 주입을 무작위로 보존하는 것을 기반으로, 비변조 영역에서 모델이 일관성을 유지하도록 강제합니다. 다중 주체 데이터셋의 데이터 증강 전략으로서 주체별 특징을 정규화하여 다중 주체 장면에서 모델이 주체 특징을 구분하고 유지하는 능력을 향상시킵니다. 변조 모델과 참조 T2I 브랜치 간의 텍스트-이미지 교차 주의 맵의 L2 손실을 계산하여 변조 모델이 T2I 브랜치와 일치하는 주의 패턴을 유지하도록 보장하며, 의미적 상호 작용의 일관성과 편집 가능성을 유지합니다.

활용 시나리오

• 디지털 콘텐츠 제작: XVerse는 제작자가 여러 주체를 정밀하게 제어할 수 있도록 도와주며, 만화 그리기, 스토리 일러스트 제작, 복잡한 가상 장면 구축 등에 활용할 수 있어 작품을 더욱 생동감 있고 풍성하며 상상력 있게 만듭니다.

• 광고 산업: XVerse는 각 주체의 속성을 정밀하게 제어할 수 있어 광고 화면의 고충실도와 일관성을 보장하고, 광고를 더욱 눈에 띄게 만들어传播 효과를 향상시킵니다.

• 예술 분야: 예술가들에게 새로운 창작 도구를 제공하여 전통적인 창작의 한계를突破하고 독특하고 표현력이 풍부한 예술 작품을 창조할 수 있게 합니다.

XVerse 사용 방법

사용자는 Python 3.10.16이 포함된 conda 환경을 생성하고, 의존성을 설치한 다음 관련 체크포인트 및 얼굴 인식 모델을 다운로드해야 합니다. 사용자 인터페이스는 친화적이며, 업로드된 이미지를 분석하고 얼굴을 자동으로 잘라 설명을 생성하는 '감지 및 분할' 기능을 포함한 풍부한 입력 설정 옵션을 제공합니다. 또한 사용자가 이미지를 업로드하고 설명을 입력한 다음 실시간으로 이미지를 생성하고 매개변수를 조정하여 효과를 최적화할 수 있는 인터랙티브 Gradio 데모도 제공됩니다.

프로젝트 주소

프로젝트 공식 웹사이트：https://bytedance.github.io/XVerse/

GitHub 저장소：https://github.com/bytedance/XVerse

HuggingFace 모델 라이브러리：https://huggingface.co/ByteDance/XVerse

arXiv 기술 논문：https://arxiv.org/pdf/2506.21416