AnyDoor_云技派,专注ai人工智能! 175

AnyDoor는 홍콩대학교, 알리바바, 그리고 Ant Group이 공동으로 개발한 AnyDoor는 한 사진의 어떤 물건이든 다른 이미지의 세계로 전송할 수 있게 해줍니다.

AnyDoor 프로젝트 주소：https://damo-vilab.github.io/AnyDoor-Page/

AnyDoor 온라인 데모 주소：https://huggingface.co/spaces/xichenhku/AnyDoor-online

AnyDoor 기능：

• 객체 이동: AnyDoor는 객체 이동과 같은 fancy한 작업에 적용할 수 있습니다.

• 객체 교체: AnyDoor는 객체 교체 작업으로 확장될 수도 있습니다.

• 가상 시착: AnyDoor는 또한 가상 시착을 위한 간단하지만 강력한 기준으로 사용될 수 있습니다. 복잡한 수동 파싱 없이도 다양한 옷의 색상, 패턴, 질감을 유지할 수 있습니다.

• 다중 객체 합성: AnyDoor는 높은 제어성을 갖추고 있어 객체가 주어진 장면의 특정 위치에 배치될 수 있으므로, 다중 객체 합성으로 쉽게 확장할 수 있습니다.

AnyDoor 사용 시나리오：

• 가상 시착 애플리케이션에서 사용자는 선택한 의류를 자신의 사진에 빠르게 커스터마이즈할 수 있습니다.

• 객체 이동 애플리케이션에서 사용자는 대상 객체를 한 사진에서 다른 사진의 지정된 위치로 이동할 수 있습니다.

• 디자인 분야에서 사용자는 자신이 디자인한 가구나 장식을 다양한 실내 장면에 커스터마이즈하여 보다 직관적인 효과 미리보기를 얻을 수 있습니다.

AnyDoor는 확산 기반 이미지 생성기로, 대상 객체를 사용자가 지정한 위치의 새 장면으로 조화로운 방식으로 전송할 수 있습니다. 우리 모델은 각 객체에 대해 매개변수를 조정하는 것이 아니라 한 번만 학습하고 추론 단계에서 서로 다른 객체-장면 조합에 완벽하게 일반화됩니다. 이렇게 도전적인 zero-shot 설정은 특정 객체에 대한 충분한 표현을 요구합니다.

이를 위해, 우리는 식별 특징을 보완하기 위해 디테일 특징을 사용하며, 이는 질감 디테일을 유지하면서 다양한 국소적 변형(예: 조명, 방향, 자세 등)을 허용하도록 신중하게 설계되어 객체가 다양한 환경과 유리하게 융합될 수 있도록 합니다. 우리는 또한 단일 객체의 다양한 형태(즉, 시간축을 따라)를 관찰할 수 있는 비디오 데이터셋에서 지식을 차용할 것을 제안하며, 이를 통해 더 강한 모델 일반화 및 견고성을 달성합니다.

대규모 실험을 통해 우리 방법이 기존 대안보다 우수하며 가상 시착 및 객체 이동과 같은 실제 응용 분야에서 큰 잠재력을 가지고 있음을 입증했습니다.