SketchVideo: 스케치 기반 제어 가능한 비디오 생성 및 편집 방법 71

小编 · 2025-05-21

SketchVideo는 UCAS, HKUST, 쿠아이쇼우 Kling 팀 연구진이 제안한 스케치 기반 제어 가능한 비디오 생성 및 편집 오픈소스 프로젝트입니다. 지능형 모션 예측, 멀티모달 제어, 실시간 렌더링이라는 세 가지 핵심 기술을 통해 애니메이션 제작을 손쉽게 만듭니다. 마케팅, 교육, 개인 크리에이티브 전시 등 다양한 분야에서 활용 가치가 있으며, 새로운 영상 콘텐츠 형태를 대표합니다.

SketchVideo: 스케치 기반 제어 가능한 비디오 생성 및 편집 방법

SketchVideo란 무엇인가요?

SketchVideo는 중국과학원대학교, 홍콩과기대학, 그리고 콰이쇼우(Kuaishou) Kling 팀의 연구원들이 제안한 라인아트 기반의 제어 가능한 비디오 생성 및 편집 방법 오픈소스 프로젝트입니다. 지능적인 동작 예측, 멀티모달 제어, 실시간 렌더링이라는 세 가지 핵심 기술을 통해 애니메이션 제작을 손쉽게 만들어 줍니다. 이 프로젝트는 마케팅, 교육, 개인 크리에이티브 표현 등의 분야에서 매우 유용하며, 시청자의 관심을 끌고 공감대를 형성할 수 있는 새로운 형태의 비디오를 대표하는 예입니다.

SketchVideo：一种基于线稿的可控视频生成和编辑方法.webp

SketchVideo의 기능 및 특징

비디오 생성: 사용자는 단일 프레임 또는 두 프레임의 라인아트만 제공하고 텍스트 프롬프트와 결합하면 SketchVideo가 고품질 비디오를 생성할 수 있습니다. 예를 들어, 간단한 동물 외곽 라인아트를 그리고 "숲속에서 달려가는"이라는 텍스트 설명을 더하면, 해당 동물이 숲속에서 달려가는 영상을 생성할 수 있습니다.
비디오 편집: 실제 비디오가 주어지면, 사용자는 편집할 영역을 지정하고 라인아트를 그려 부분적으로 수정할 수 있습니다. 예를 들어 인물 비디오에서 인물의 헤어스타일을 수정하면, 새로 생성된 헤어스타일이 인물의 머리 움직임에 맞춰 자연스럽게 변화합니다.
동적 제어: 동작 보간 및 외삽을 지원하며, 사용자는 서로 다른 키프레임의 라인아트를 그려 물체의 동작 상태를 제어할 수 있습니다.
디테일 보존: 비디오 편집 시 수정되지 않은 영역의 디테일을 보존하여, 편집된 비디오가 시각적으로 자연스럽고连贯性 있게 유지되도록 합니다.
효율적인 생성: 메모리 최적화 기술을 채택하여 고품질 비디오를 빠르게 생성합니다. 예를 들어, SketchGen 모델이 A100 GPU에서 단일 프레임 비디오를 생성하는 데 약 95초가 걸립니다.

SketchVideo의 기술 원리

스케치 조건부 네트워크: DiT 비디오 생성 모델을 기반으로 전용 스케치 조건부 네트워크를 설계합니다. 이 네트워크는 여러 스케치 제어 블록을 포함하며, 생략된 DiT 블록의 잔차 특성을 예측하고 제어 신호를 다양한 계층의 특성에 주입합니다.
프레임 간 어텐션 메커니즘: 모든 프레임의 은닉 특성과 제어 프레임의 은닉 특성 간의 관계를 계산하여, 키프레임 위의 스케치 조건을 모든 비디오 프레임으로 전파함으로써 스케치 특성의 시공간적 전파를 실현합니다.
비디오 인페인팅 모듈: 비디오 편집 작업에서 이 모듈은 입력 스케치와 원본 비디오 사이의 관계를 분석하여, 원본 비디오의 공간적·시간적 일관성을 유지하는 새로운 콘텐츠를 생성합니다.
잠재 융합 기법: 추론 과정에서 DDIM 인버전을 기반으로 입력 비디오의 노이즈 잠재 코드를 생성합니다. 편집되지 않은 영역에서는 이러한 잠재 코드를 교체하여 원본 비디오의 디테일을 보존합니다.
혼합 훈련 전략: 이미지와 비디오 데이터를 결합하여 훈련합니다. 먼저 이미지와 비디오 데이터를 사용해 수렴 속도를 높이고 비디오 데이터가 제한적인 문제를 해결한 다음, 비디오 데이터를 사용해 시간적 일관성을 더욱 최적화합니다.

SketchVideo의 장점

창작 장벽 낮춤: 전문가의 지식이나 기술 없이도 일반 사용자가 스케치와 텍스트만으로 손쉽게 비디오를 제작할 수 있어, 모든 사람의 창작 잠재력을 자극합니다.
디테일한 정밀 제어: 스케치 조건부 네트워크가 다양한 계층의 특성 제어 신호를 예측하고 주입함으로써, 물체의 형태와 위치부터 장면 전체의 레이아웃까지 모든 디테일을 세밀하게 묘사하고 표현할 수 있습니다.
효율적이고 편리함: DiT 기반 비디오 생성 모델을 채택하고 스케치 제어 블록 및 프레임 간 어텐션 메커니즘을 혁신적으로 도입하여, 고품질 출력을 보장하는 동시에 효율적인 메모리 최적화를 실현하고 비디오를 빠르게 생성하여 창작 시간을 절약합니다.

SketchVideo의 활용 시나리오

영상 제작: 애니메이션 영상을 빠르게 생성하거나, 영상 클립에 특수 효과를 추가하거나 장면을 수정하는 등의 작업에 활용할 수 있습니다.
숏폼 비디오 합성: 크리에이터는 손그림 스타일의 애니메이션 스토리, 창의적인 광고 등 개성 있는 숏폼 비디오 콘텐츠를 손쉽게 제작할 수 있습니다.
가상 시뮬레이션: 가상 장면 구축 시 라인아트를 통해 동적인 가상 환경을 빠르게 생성하여, 게임 개발이나 가상 교육 등 다양한 분야에 활용할 수 있습니다.