MimicBrush: 타겟 이미지의 선택 영역을 자동 로컬 편집 및 교체 193

MimicBrush는 홍콩대학교&알리바바가 공동으로 제안한, 대상 이미지의 선택한 영역을 자동으로 부분 편집하거나 교체하는 이미지 편집 도구입니다. 사용자는 편집하고자 하는 영역을 지정한 후 참고 이미지 한 장만 제공하면, MimicBrush가 양자 간의 연관성을 지능적으로 파악하여 대상 이미지의 해당 부분을 참고 이미지처럼 변경해 줍니다. 즉, 이미지를 업로드한 후 이미지의 특정 부분(예: 의상, 머리 스타일, 배경 등)을 선택하고, 원하는 참고 이미지를 한 장 더 업로드하기만 하면 됩니다. MimicBrush가 참고 이미지를 바탕으로 선택한 이미지의 해당 부분을 자동으로 편집하여 참고 이미지에 있는 것처럼 보이도록 만들어 주므로, 이미지 전체가 아닌 특정 부분만 수정할 수 있습니다. 또한 MimicBrush는 참고 이미지의 질감(예: 표범 무늬, 꽃무늬, 나무 결 등)을 지능적으로 추출하여 대상 이미지에 적용할 수 있습니다.

MimicBrush의 기능 특징:

• 참고 이미지 모방: 사용자는 대상 이미지에서 편집하고자 하는 특정 영역을 지정한 다음, 원하는 스타일이나 객체가 포함된 참고 이미지를 제공할 수 있습니다. MimicBrush는 참고 이미지의 특정 시각적 특징을 분석하고 모방하여 이러한 특징을 소스 이미지의 지정된 영역에 매끄럽게 적용함으로써 스타일이나 콘텐츠의 일관성을 구현합니다.

• 제로샷 이미지 편집: 사용자는 대량의 샘플을 제공하거나 복잡한 학습을 거치지 않고도 이미지 스타일 변환을 구현할 수 있습니다.

• 자기지도 학습: MimicBrush는 자기지도 학습 기술을 활용하여 의미 정렬 능력을 강화함으로써, 모델이 서로 다른 이미지 간의 의미적 대응 관계를 자기지도 방식으로 포착할 수 있도록 합니다.

• 부분 스타일 리드로잉: MimicBrush는 한 이미지의 특정 부분을 다른 이미지에 융합하여 부분 스타일의 리드로잉을 구현할 수 있습니다.

MimicBrush 사용 방법:

사용자는 간단한 단계를 거쳐 웹에서 MimicBrush를 사용할 수 있습니다. 먼저 대상 이미지를 업로드하고, 편집 영역의 마스크를 그리거나 업로드한 다음, 참고 이미지를 업로드하고 클릭 한 번이면 편집이 시작됩니다.

MimicBrush는 이커머스 상품展示, 이미지 편집 및 콘텐츠 마이그레이션 등의 시나리오에 적합합니다.

프로젝트 주소: https://xavierchen34.github.io/MimicBrush-Page/

Github:https://github.com/ali-vilab/MimicBrush

HuggingFace: https://huggingface.co/spaces/xichenhku/MimicBrush