KEEP: 저해상도 영상의 얼굴을 HD로 복원하는 도구 176

KEEP이란 무엇인가요?

KEEP은 난양대학교(Nanyang Technological University) 연구팀이 개발한 도구로, 저해상도 동영상 속 얼굴을 고해상도로 복원하여 얼굴 특징을 더욱 선명하게 만들어 줍니다. 이 기술은 영상 감시, 영화 및 TV 제작 등 다양한 분야에서 널리 활용될 수 있으며, 얼굴 이미지의 품질을 효과적으로 개선하여 후속 분석 및 처리 작업을 위한 더 선명한 소재를 제공합니다.

KEEP 핵심 기술

• 칼만 필터 원리: 동영상 시퀀스의 얼굴 특징을 추적하고, 칼만 필터를 사용하여 다음 프레임의 얼굴 특징을 예측함으로써 더 높은 얼굴 초해상도를 구현합니다.

• 특징 전파 및 동적 조정: 이전에 복원된 프레임에서 정보를 가져와 현재 프레임의 복원 과정을 안내하고, 연속된 프레임 간의 차이를 줄여줍니다.

• 다중 스케일 처리: 다중 스케일 정보를 결합하여 얼굴 이미지의 디테일 표현과 전체적인 품질을 향상시킵니다.

• 크로스 프레임 어텐션(CFA): 서로 다른 프레임 간의 연관성을 더욱 강화하여 동영상 재생 과정에서 더 나은 시의성과 디테일 표현을 유지하도록 도와줍니다.

KEEP 모델 아키텍처

• 인코더와 디코더: 고품질 초해상도 이미지를 생성하기 위해 변분 양자 생성적 적대 신경망(VQGAN) 기반의 모델을 구축했습니다.

• 칼만 필터 네트워크: 현재 프레임의 관측 상태와 이전 프레임의 예측 상태를 결합하여 더 정확한 현재 상태 추정을 형성합니다.

• 크로스 프레임 어텐션(CFA) 레이어: 이전 프레임의 유사한 특징을 매칭하고 융합하여 현재 프레임의 디테일을 강화합니다.

KEEP의 장점

• 시간적 일관성: 동영상 속 얼굴의 연속성을 유지할 수 있어, 각 프레임을 독립적으로 처리할 때 발생하는 시간적 불연속성을 방지합니다.

• 디테일 재구성: 심각하게 손상된 동영상에서도 눈, 코, 입 등 얼굴 디테일을 효과적으로 복원할 수 있습니다.

• 견고성: 정면이 아닌 얼굴과 심각하게 손상된 동영상에 대해서도 뛰어난 성능을 보이며, 얼굴 사전 정보를 안정적으로 추정할 수 있습니다.

KEEP 활용 시나리오

• 오래된 영화 복원: 오래된 영화 속 얼굴 선명도를 높이고 디테일을 복원합니다.

• 영상 감시 강화: 보안 감시 분야에서 감시 동영상의 얼굴 해상도를 향상시킵니다.

• 소셜 미디어 동영상: 사용자가 업로드한 저품질 동영상 속 얼굴 선명도를 개선합니다.

• 화상 회의 시스템: 원격 소통 시 얼굴 이미지 품질을 향상시킵니다.

• 가상현실(VR) 경험: 인물 얼굴의 렌더링을 최적화합니다.

프로젝트 링크

https://github.com/jnjaby/KEEP