AnyDressing: 잠재 확산 모델 기반 다중 의상 가상 피팅 203

AnyDressing은 바이트댄스와 칭화대학교가 제안한 잠재 확산 모델(latent diffusion model) 기반의 커스터마이징 가능한 다중 의상 가상 피팅 방법으로, GarmentsNet과 DressingNet이라는 두 가지 주요 네트워크로 구성되어 있으며, 각각 상세한 의상 특징 추출과 다중 의상의 가상 착용을 구현하는 데 사용됩니다. AnyDressing은 현실적 장면과 스타일화된 장면을 포함한 다양한 가상 피팅 시나리오에 적용될 수 있으며, 사용자에게 맞춤화된 가상 피팅 경험을 제공합니다.

AnyDressing 주요 기능:

다중 의상 조합 피팅: 사용자는 여러 의상을 동시에 착용해볼 수 있으며, 시스템은 복잡한 의상 조합을 처리할 수 있어 각 의상의 디테일과 핏이 모두 잘 표현됩니다.

개인 맞춤화: 사용자는 자신의 요구에 따라 참조 의상과 텍스트 프롬프트를 제공하여 피팅 효과를 맞춤 설정할 수 있습니다. 이러한 개인화 기능을 통해 사용자는 자신의 스타일과 취향에 맞게 선택할 수 있습니다.

고품질 이미지 생성: AnyDressing은先进的 이미지 생성 기술을 활용하여 사실적인 가상 피팅 이미지를 생성하며, 이는 사용자가 의상이 자신에게 입혀졌을 때의 효과를 더 잘 이해하는 데 도움을 줍니다.

폭넓은 적용 시나리오: 이 기술은 패션 소매, 온라인 쇼핑, 소셜 미디어 등 다양한 분야에 적용될 수 있어 사용자의 쇼핑 경험과 만족도를 향상시킵니다.

연구 및 개발: AnyDressing은 현재 연구 단계에 있으며, 바이트댄스와 칭화대학교 연구팀이 공동으로 개발 중입니다. 주로 학술 연구와 효과 시연용으로 사용되며, 아직 정식 상용화되지 않았습니다.

AnyDressing 기술 아키텍처:

AnyDressing의 기술 아키텍처는 두 가지 주요 네트워크인 GarmentsNet과 DressingNet을 포함합니다. GarmentsNet은 상세한 의상 특징을 추출하는 역할을 하며, DressingNet은 맞춤화된 이미지를 생성합니다. GarmentsNet에 도입된 의상 특징 추출기는 여러 의상의 텍스처를 병렬로 인코딩하여 의상 혼동을 방지하는 동시에 네트워크의 효율성을 보장합니다. DressingNet은 적응형 어텐션 메커니즘과 인스턴스 레벨 의상 위치 학습 전략을 채택하여 다중 의상 특징을 해당 영역에 정확하게 주입함으로써 생성된 이미지의 다양성과 제어 가능성을 높입니다. 또한 AnyDressing은 의상의 디테일 표현을 개선하기 위해 향상된 텍스처 학습 전략을 도입했습니다. 이 기술의 실험 결과는 AnyDressing이 다중 의상 가상 피팅 작업에서 최첨단 효과를 달성했음을 보여주며, 높은 실용적 가치와 연구 잠재력을 가지고 있습니다.

AnyDressing의 설계는 의상 충실도, 텍스트 일관성, 커뮤니티 제어 확장과의 호환성 문제와 같은 다중 의상 합성 시 기존 기술이 직면한 과제를 해결했습니다. 적응형 Dressing-Attention 메커니즘과 인스턴스 레벨 의상 위치 학습 전략을 통해 의상 특징을 정확한 위치에 정밀하게 통합하는 동시에, 의상 향상 텍스처 학습 전략을 통해 디테일 품질을 높여 생성된 가상 의상이 높은 사실감을 갖도록 보장합니다.

AnyDressing 관련 링크:

프로젝트 공식 사이트: https://crayon-shinchan.github.io/AnyDressing/

HuggingFace: https://huggingface.co/papers/2412.04146

코드: https://github.com/Crayon-Shinchan/AnyDressing

논문: https://arxiv.org/abs/2412.04146