Wan 2.1: Tongyi Wanxiang가 공개한 오픈소스 비디오 생성 모델 257

小编 · 2025-02-21

Tongyi Wanxiang 팀이 최신 비디오 생성 모델 Wan 2.1(만상 2.1)을 출시했습니다. 이 모델은 비디오 품질, 복잡한 모션 표현, 물리 법칙 시뮬레이션, 중국어 텍스트 생성 등 여러 영역에서 큰 발전을 이뤘습니다. 특히 중국어 콘텐츠 생성 부분에서 중국어 텍스트 효과를 효과적으로 제어할 수 있는 최초의 비디오 모델로, 기존 모델의 중국어 처리 한계를 해결했습니다.

Wan 2.1: Tongyi Wanxiang가 공개한 오픈소스 비디오 생성 모델

통이완상(Tongyi Wanxiang) 팀이 최신 비디오 생성 모델인 Wan 2.1(완상 2.1)을 출시했습니다. 이 모델은 비디오 생성의 여러 측면에서 큰 진전을 이루었으며, 비디오 품질, 복잡한 동작 표현, 물리 법칙 시뮬레이션, 중국어 한자 생성 등에서 발전이 있었습니다. 특히 중국어 콘텐츠 생성 측면에서, 중국어 문자 효과 생성을 효과적으로 제어할 수 있는 최초의 비디오 모델로, 기존 모델이 중국어 콘텐츠를 처리하는 데 있어 부족했던 부분을 해결했습니다.

통이완상 팀이 출시 예정인 WanX 2.1.webp

Wan 2.1 기능 특징

복잡한 동작 표현: Wan 2.1은 회전, 점프, 굴러가기 등 다양한 복잡한 인물 신체 동작을 안정적으로 표현할 수 있어, 비디오가 더욱 생동감 있고 사실적으로 보입니다.
물리 법칙 재현: 현실 세계의 물리 법칙을 매우 사실적으로 재현할 수 있어, 생성된 비디오가 더 현실적이며 사용자의 기대에 부합합니다.
고품질 비디오 생성: 이 모델이 생성한 비디오는 시각 효과가 더 사실적이며 픽셀 품질도 향상되었습니다. 생성된 콘텐츠가 물리 법칙을 따르고 복잡한 지시를 실행할 때 더 정확합니다.
복잡한 동작 처리: Wan 2.1은 복잡한 동작 장면을 처리하는 데 특히 뛰어난데, 예를 들어 피겨 스케이팅, 수영, 다이빙 등의 장면에서 동작의 조화로운 현실성을 유지하며, 복잡한 신체 동작 생성 측면에서 눈에 띄는 향상을 이루었습니다.
다국어 지원: Wan 2.1은 중국어와 영어 문자 효과를 동시에 지원하는 최초의 비디오 생성 모델로, 광고 및 숏폼 비디오 제작과 같은 창의 산업에서의 적용 범위를 크게 확장하여 국내외 수요를 모두 충족할 수 있습니다.
고효율 코덱 기술: 자체 개발한 VAE(Variational Autoencoder)와 DiT(특정 딥러닝 아키텍처) 기술을 채택하여, 무한 길이의 1080P 비디오 생성을 가능하게 했으며 효율과 화질이 모두 향상되었습니다.

Wan 2.1 기술 아키텍처

Wan 2.1은 자체 개발한 VAE(Variational Autoencoder)와 DiT(Diffusion Transformer) 아키텍처를 채택하여, 시공간 맥락 관계 모델링 능력 측면에서 큰 향상을 이루었습니다. VAE는 비디오를 여러 블록으로 분할하고 중간 특징을 캐시하여, 1080P 초장편 비디오를 효율적으로 인코딩 및 디코딩할 수 있으며, 무한 길이의 고화질 비디오를 생성할 수 있습니다. DiT는 시공간 전체 주의(attention) 메커니즘과 파라미터 공유 메커니즘을 통해 생성 품질과 학습 효율을 크게 향상시켰습니다.

Wan 2.1 모델은 또한 무한 길이 비디오 생성을 지원하며, VAE를 사용하여 비디오를 여러 부분으로 분할하고 중간 특징을 캐시하여 효율적인 인코딩 및 디코딩을 구현함으로써 1080P 길이의 비디오 생성을 지원합니다. 또한 시공간 전체 주의 메커니즘과 파라미터 공유 메커니즘을 통해 생성 품질과 학습 효율이 크게 향상되어, 생성 효과가 더욱 정교하고 안정적이 되었습니다. 또한 사용자가 매개변수를 설정할 때 간단 모드와 전문 모드 등 다양한 사전 설정 모드를 선택하여 다양한 창작 수준과 프로젝트 요구 사항을 충족할 수 있습니다.