HandRefiner: AI 이미지 생성에서 발생하는 손 변형 문제 해결 도구 140

ai 이미지 생성에서 손 기형 문제를 해결하기 현재 이미지 생성 모델은 이미지 생성 측면에서 이미 매우 뛰어나지만, 사람의 손 이미지를 생성할 때는 손가락 개수가 맞지 않거나 손 모양이 괴상하게 표현되는 등 종종 문제가 발생합니다.

HandRefiner 프로젝트 주소:https://github.com/wenquanlu/HandRefiner/

HandRefiner 논문 주소:https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefiner 모델 다운로드:https://huggingface.co/hr16/ControlNet-HandRefiner-pruned

HandRefiner는 이미지의 다른 부분을 변경하지 않으면서 모양이 비정상적인 손 이미지를 수정하는 방법을 제안합니다. 조건부 인페인팅(conditioned inpainting) 방식을 사용하여 기형이 있는 손을 교정하며, 손의 올바른 모양과 제스처를 식별하여 이러한 올바른 정보를 원래의 잘못된 손 이미지에 다시 적용할 수 있습니다.

HandRefiner의 주요 특징:

- 정확성: HandRefiner는 생성된 이미지의 기형 손을 정확하게 식별하고 수정할 수 있어, 효과적인 후처리 솔루션을 제공합니다.

- 일관성 유지: 손을 수정하는 동시에 이미지의 다른 부분의 일관성을 유지하여, 이미지의 전체적인 품질에 영향을 주지 않습니다.

- 합성 데이터 활용: 연구에서 ControlNet의 상전이(相變, phase transition) 현상을 발견하였으며, 이를 통해 HandRefiner가 실제 손과 합성 손 사이의 도메인 차이 영향을 받지 않고 합성 데이터를 효과적으로 학습에 활용할 수 있게 되었습니다. 이는 HandRefiner가 다양한 손의 모양을 학습할 수 있음을 의미하며, 따라서 손이 얼마나 기이하든 적절한 방식으로 교정할 수 있습니다.

- 범용성: HandRefiner가 주로 손 이미지를 대상으로 하지만, 그 기본 원리와 기술은 세밀한 수정이 필요한 다른 이미지 생성 작업에도 적용할 수 있습니다. 예를 들어 이 방법은 발이나 귀 등 다른 부분을 수정하는 데에도 사용할 수 있습니다.

HandRefiner의 작동 원리:

1, 손 식별 및 재구성: 문제 식별: 우선 HandRefiner는 생성된 이미지에서 모양이 비정상적인 손을 식별합니다. 손 재구성: HandRefiner는 손 메시(mesh) 재구성 모델을 사용하여 사람의 손이 있어야 할 모습에 따라 올바른 손을 다시 그립니다. 손의 올바른 모양과 제스처를 재구성할 수 있습니다. 이는 모델이 정상적인 손의 학습 데이터에 기반을 두고 있어, 기형이 있는 손 이미지에서도 합리적인 재구성 결과를 생성할 수 있기 때문입니다.

2, 조건부 인페인팅: 인페인팅 과정: HandRefiner는 식별된 문제가 있는 손을 처리하기 위해 조건부 인페인팅 방식을 채택합니다. 손의 모양과 위치에 대한 중요한 정보를 포함한 깊이 맵(depth map)을 생성합니다. 통합 및 수정: 그런 다음 이 깊이 맵이 ControlNet을 통해 확산 모델(diffusion model)에 통합되는 지침으로 사용됩니다. HandRefiner는 이렇게 다시 그려진 손을 원래 그림에 다시 배치하여 잘못 그려진 손을 교체하되, 다른 부분은 그대로 두어 원래 그림의 스타일과 내용을 유지합니다.