DDColor: 듀얼 디코더를 통한 사실적인 이미지 컬러라이제이션 238

이미지 컬러라이제이션(Image Colorization)은 고전적인 컴퓨터 비전 작업으로, 오래된 사진 복원, 영화 리메이크, 예술 창작 등 다양한 현실 세계 응용 분야에서 큰 잠재력을 가지고 있습니다. 그레이스케일 이미지가 주어졌을 때, 이미지 컬러라이제이션은 누락된 두 개의 색상 채널을 복원하는 것을 목표로 하며, 하나의 객체가 여러 개의 그럴듯한 색상을 가질 수 있기 때문에 이 문제는 다중 모달 불확실성을 내포합니다. 따라서 이미지 컬러라이제이션은 항상 도전적인 과제였습니다.

DDColor의 등장은 이미지 컬러라이제이션 분야에 혁신적인 도약을 가져왔으며, 이는 듀얼 디코더를 사용하는 새로운 방법입니다.DDColor는 모다(ModelScope) 대형 모델의 최신 이미지 컬러라이제이션 알고리즘으로, 흑백 이미지를 입력하면 색상 처리된 컬러 이미지를 반환하며 자연스럽고 생동감 있는 컬러라이제이션 효과를 구현할 수 있습니다.

DDColor는 알리바바 그룹 DAMO 아카데미의 Xiaoyang Kang, Tao Yang, Wenqi Ouyang, Peiran Ren, Lingzhi Li, Xuansong Xie이 개발했으며, 특히 여러 객체와 다양한 맥락을 가진 복잡한 장면에서 사실적인 색상 생성 면에서 두각을 나타냅니다.

DDColor는 듀얼 디코더 기술을 사용하여 색상 분포와 픽셀 단위의 세부 정보를 동시에 고려할 수 있으며, 이를 통해 매우 사실적인 이미지 컬러라이제이션 효과를 구현합니다.

DDColor는 역사적인 흑백 사진에 색상을 입힐 수 있을 뿐만 아니라, 애니메이션이나 게임의 풍경에 사실적인 스타일의 컬러라이제이션을 수행할 수 있습니다. 애니메이션 장면을 현실 생활 스타일로 변환합니다.

DDColor는 이미지를 처리하기 위해 듀얼 디코더를 사용합니다:

하나는 이미지의 구조를 복원하고, 다른 하나는 이미지의 각 부분에 대한 색상을 결정합니다.

이 기술의 혁신은 이전 방법들과 같이 사람이 설정한 규칙에 의존하지 않고, 스스로 이미지 내용을 학습하여 적합한 색상을 결정할 수 있다는 점입니다.

이러한 방식으로 DDColor는 복잡한 장면 이미지에 더 정확하게 색상을 입힐 수 있으며, 잘못된 색상 번짐 문제를 줄이고 최종 이미지가 더 풍부하고 자연스러운 색상으로 보이도록 합니다.

DDColor 설치:

단계 1: 환경 설정

먼저 Python 환경을 설정합니다. DDColor의 신경망 구현이 이 프레임워크에 크게 의존하므로 PyTorch가 설치되어 있는지 확인하세요.

단계 2: 데이터 준비

훈련 및 테스트에 사용할 데이터셋을 준비합니다. DDColor는 그레이스케일 및 컬러 이미지 모두에 적합합니다. 훈련 시에는 다양한 색상 공간과 장면을 포착하기 위해 다양한 이미지를 포함하는 데이터셋을 사용하세요.

단계 3: 모델 아키텍처

픽셀 디코더와 컬러 디코더를 포함하여 DDColor의 아키텍처를 정의합니다. 모델 아키텍처가 데이터셋의 복잡성과 일치하는지 확인하세요.

DDColor 사용 방법?

ModelScope 프레임워크에서 입력 이미지를 제공하면 간단한 Pipeline 호출을 통해 이미지 컬러라이제이션 모델을 사용할 수 있습니다.

결론적으로 DDColor는 다중 스케일 시각적 특징을 사용하여 학습 가능한 컬러 토큰(즉, 컬러 쿼리)을 최적화하며, 자동 이미지 컬러라이제이션에서 최첨단 성능을 구현합니다.

논문 & 코드

논문 링크: https://arxiv.org/abs/2212.11613

ModelScope 애플리케이션: https://www.modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary

오픈 소스 코드: https://github.com/piddnad/DDColor