Alibaba, Tongyi Wanxiang Wan2.1 비디오 생성 AI 모델 공식 오픈소스 공개 244

小编 · 2025-02-26

Alibaba, Tongyi Wanxiang Wan2.1 비디오 생성 AI 모델 공식 오픈소스 공개

通义万相Wan2.1视频生成AI模型.webp

Wan2.1이란 무엇인가?

Wan2.1(通义万相2.1)은 알리바바가 2025년 2월 25일에 공식 출시한 새로운 오픈소스 비디오 생성 모델로, 이 AI 모델은 Apache 2.0 라이선스로 오픈소스화되었으며, 14B와 1.3B 두 가지 파라미터 사양의 추론 코드와 가중치를 제공하여 텍스트-비디오 및 이미지-비디오 생성 작업을 지원합니다. 성능이 크게 향상되어 Sora, HunyuanVideo, Minimax, Luma, Gen3, Pika 등 국내외 비디오 생성 모델을 포함한 여러 첨단 모델들을 여러 벤치마크 테스트에서 능가했습니다.

Wan2.1의 기능:

중영문 비디오 생성:

Wan2.1은 중문과 영문 텍스트를 생성할 수 있는 최초의 비디오 모델로, 강력한 텍스트 생성 능력을 갖추고 있어 영화 수준의 효과적인 문자와 애니메이션을 생성할 수 있습니다.
특수 효과 폰트, 포스터 폰트, 실제 장면에서의 폰트 표시 등 다양한 시나리오에서의 폰트 적용을 지원합니다.

다중 작업 지원:

텍스트-비디오(text-to-video) 및 이미지-비디오(image-to-video) 생성을 제공합니다.
비디오 편집, 비디오-오디오 등 작업을 지원합니다.
텍스트-이미지 생성(T2I): 텍스트에서 이미지를 생성하는 것을 지원합니다.
비디오-오디오 생성(V2A): 비디오에 어울리는 오디오를 자동으로 생성할 수 있습니다.

고품질 성능:

하이브리드 변분 오토인코더(VAE)와 확산 트랜스포머(DiT) 아키텍처를 기반으로 시간 모델링 및 장면 이해 능력이 향상되었습니다.
고화질 비디오, 동적 자막 및 다국어 더빙을 동시에 생성할 수 있으며, 1080p 해상도와 효율적인 인코딩/디코딩을 지원합니다.

소비자급 하드웨어 지원:

1.3B 버전의 Wan2.1 모델은 단 8.19GB의显存(VRAM)만으로 실행 가능하며, RTX 4090 그래픽카드에 적합하여 전문가급 비디오 제작이 소비자급 하드웨어 영역으로 진입하게 되었습니다.

다양한 스타일:

만화 영화, 영화色调, 3D 스타일, 유화, 고전 등 다양한 예술 스타일을 지원합니다.

장시간 비디오 생성:

피처 캐싱 메커니즘을 통해 무제한 길이의 1080P 비디오 생성을 지원합니다.

多任务支持.webp

핵심 아키텍처

하이브리드 변분 오토인코더(VAE): 비디오의 인코딩/디코딩에 사용되며, 시간 정보를 보존하면서 임의 길이의 1080P 비디오 스트림의 무손실 인코딩/디코딩을 지원합니다.
확산 트랜스포머(DiT): 비디오 기반 DiT 구조로, Full Attention 메커니즘을 통해 장시간 시공간 의존성을 효과적으로 모델링하여 시공간 일관성을 갖춘 비디오 생성을 구현합니다.

核心架构.webp

Wan2.1의 활용 분야:

영화 및 TV 제작: SF 영화의 외계 세계나 대규모 전쟁 장면과 같은 복잡한 장면과 특수 효과를 빠르게 제작하여 제작 비용과 시간을 크게 절감합니다.
광고 및 마케팅: 브랜드 특성에 맞춰 창의적인 광고 영상을 맞춤 제작하여 브랜드 노출도와 매력을 높입니다.
교육 및 훈련: 생동감 있는 교육 비디오와 애니메이션 강의 자료를 제작하여 학생들이 지식 포인트를 보다 직관적으로 이해하도록 돕고, 교육 자원을 풍부하게 합니다.
게임 및 엔터테인먼트: 사실적인 게임 장면과 캐릭터 애니메이션을 생성하여 게임 그래픽 품질과 플레이어 몰입감을 향상시킵니다.
숏폼 비디오 및 소셜 미디어: 고품질 숏폼 비디오를 빠르게 제작하여 소셜 미디어传播에 적합하며, 더 많은 시청자를 쉽게 끌어들이고 합니다.
가상 캐릭터 및 애니메이션 제작: 복잡한 캐릭터 동작과 장면 설계를 지원하여 영화, 광고 또는 게임의 가상 캐릭터 제작에 적합합니다.