알리바바, Wan2.1-VACE 비디오 모델 오픈소스 공개 67

2025년 5월 14일 저녁, 알리바바 산하 톱이(通义) 완샹(Wanxiang) 팀이 만샹 Wan2.1 - VACE의 비디오 편집 및 생성 통합 모델을 오픈소스로 공개했습니다. 이 AI 모델은 단순히 비디오를 "생성"할 뿐만 아니라, 기존 비디오에 대해 다양한 복잡한 편집 및 재창작 처리를 수행할 수 있습니다. 또한 단 하나의 모델로 이러한 모든 작업을 처리할 수 있으며, 비디오 속 캐릭터의 동작, 자세, 방향, 구도, 운동 궤적, 스타일 등을 정밀하게 제어할 수 있습니다.

핵심 장점

만샹 Wan2.1 - VACE는 현재 비디오 생성 및 편집 기능이 가장 포괄적인 솔루션입니다. 단일 모델 아키텍처로 다양한 비디오 처리 작업을 처리할 수 있는데, 예를 들어 텍스트로 비디오 생성하기, 참고 이미지로 비디오 생성하기, 비디오 리페인팅, 비디오 내용 부분 수정, 비디오 배경 확장, 그리고 시간 연장과 같은 작업이 가능합니다. 또한 여러 작업을 동시에 수행할 수 있도록 지원하여, 사용자가 하나의 프로세스 안에서 복잡한 비디오 편집을 완료할 수 있어 창작 과정이 훨씬 간소화됩니다.

또한 Wan2.1-VACE는 사용자가 여러 기본 기능을 자유롭게 조합하고 유연하게 결합하여 복잡한 응용 시나리오를 구성할 수 있다는 큰 장점이 있습니다.

이 모델은 1.3B와 14B 두 가지 파라미터 규모를 제공합니다. 1.3B라는 경량 버전은 소비자용 그래픽 카드만으로도 원활하게 작동하며 480P 비디오를 출력할 수 있고, 14B 풀버전은 720P와 같은 더 높은 해상도를 지원하여 더 나은 효과를 제공합니다.

기술 혁신

이 모델은 새로운 비디오 조건부 유닛 VCU를 도입하여, 텍스트 투 비디오, 참고 이미지 투 비디오, 비디오 투 비디오, 그리고 부분 비디오 투 비디오와 같은 비디오 생성 및 편집 작업을 통합했습니다. VCU는 텍스트, 이미지 등 다양한 입력을 텍스트, 프레임 시퀀스, 마스크 시퀀스로 변환하여 다중 작업 자유 조합의 기반을 마련합니다.

또한 VCU 입력 프레임 시퀀스를 처리하여 가변 시퀀스와 불변 시퀀스로 각각 인코딩함으로써, 토큰 시리얼라이제이션 문제를 해결하고 다중 모달 입력의 처리 효율을 높였습니다.

실제 응용

이 모델을 사용하면 세로로 된 정적 이미지인 「모나리자」를 가로 방향의 동적 비디오로 변환할 수 있으며, 인물에게 안경을 추가하는 등, 화면 비율 확장, 시간 연장, 이미지 참조라는 세 가지 작업을 한 번에 완료할 수 있어, 창작자의 창의적인 발휘에 큰 공간을 제공합니다.

다운로드 경로

개발자는 GitHub, Huggingface, 그리고 모따(魔搭) 커뮤니티와 같은 플랫폼에서 이 모델을 다운로드하고 체험할 수 있습니다.

• GitHub：https://github.com/Wan-Video/Wan2.1

• HuggingFace：https://huggingface.co/Wan-AI

• 모따 커뮤니티(魔搭社区)：https://www.modelscope.cn/organization/Wan-AI?tab=model

Wan2.1 - VACE의 오픈소스 공개는 비디오 생성 기술이 단일 작업 수행에서 다중 작업 조합으로 발전하는 데 큰 진전을 이룬 것이며, 비디오 창작자에게 더욱便捷하고 효율적인 도구를 제공합니다.