Light-A-Video: 재학습 없이 동영상의 조명 효과 조절 154

Light-A-Video는 프레임 단위 이미지 재조명 모델에 적용되는 간단한 애플리케이션으로, 주로 광원 일관성과 재조명 외관 문제를 해결합니다. 이 프로젝트의 목표는 비디오의 조명 효과의 자연스러움을 향상시켜 생성된 비디오 프레임이 광원과 외관 면에서 더욱 일관되게 만드는 것이며, 전통적인 비디오 재조명 방법이 직면한 높은 학습 비용, 데이터 부족, 시간적 일관성 부족, 응용 분야 제한 등의 문제를 해결합니다.

Light-A-Video 기능 특징:

훈련 불필요:Light-A-Video는 비지도 학습 방식을 채택하여 대규모 데이터셋이나 복잡한 훈련 과정이 필요하지 않습니다.

CLA 모듈:듀얼 스트림 어텐션 메커니즘을 통해 원본 프레임의 고주파 디테일과 프레임 간 평균화된 안정적인 배경 조명을 결합하여 광원의 안정성을 보장하고 깜빡임을 줄입니다.

PLF 전략:이 전략은 재조명 효과를 점진적으로 융합하여 비디오 디노이징 과정에서 조명의 일관성과 부드러운 전환을 유지함으로써 프레임 단위 처리로 인한 부자연스러운 효과를 방지합니다.

광범위한 호환성:이 방법은 UNet 및 DiT와 같은 다양한 비디오 생성 모델과 호환되어 다양한 응용 시나리오에서의 범용성을 보여줍니다.

조명 일관성:비디오의 조명 일관성을 강화하기 위해 두 가지 핵심 모듈을 도입합니다:

• Consistent Light Attention (CLA): 셀프 어텐션 메커니즘의 프레임 간 상호작용을 강화하여 배경 광원의 일관성을 보장합니다.

• Progressive Light Fusion (PLF): 광 전송의 독립성 원리를 활용하여 선형 혼합을 통해 조명 전환을 부드럽게 처리하여 비디오 프레임 간의 조명 일관성을 보장합니다.

기술 흐름:

• 비디오 인코딩 및 노이즈 추가: 입력 비디오는 잠재 공간에 인코딩되며 후속 처리를 위해 노이즈가 추가됩니다.

• 프레임 단위 재조명: 사전 훈련된 이미지 재조명 모델을 사용하여 각 프레임을 처리합니다.

• CLA 모듈 적용: 프레임 간 상호작용을 강화하여 조명 효과를 안정화하고 비디오 프레임 간 일관성을 유지합니다.

• PLF 전략 구현: 재조명 효과를 비디오의 디노이징 과정에 점진적으로 통합하여 시간적 부드러운 전환을 보장합니다.

• 비디오 디코딩: 최종적으로 재조명된 비디오가 생성되며 고품질과 시간적连贯성이 유지됩니다.

Light-A-Video 응용 시나리오:

Light-A-Video는 비디오 편집, 영화 특수효과 제작, 가상 현실, 광고 및 게임 개발 등의 분야에 보다 효율적이고 유연한 비디오 조명 조정 도구를 제공합니다:

• 전체 비디오 재조명: 전체 비디오의 재조명에 적합합니다.

• 비디오 전경 재조명: 배경 생성과 결합하여 비디오 전경의 재조명을 수행합니다.

Light-A-Video는 상하이 자오퉁 대학, 중국 과학과 기술 대학, 홍콩 중문 대학, 홍콩 과기 대학, 스탠포드 대학 등 기관의 연구자들이 공동 개발한 것으로, 사전 훈련 없이 고품질의 시간적으로 일관된 비디오 재조명을 구현할 수 있는 최초의 모델입니다.