Open-Sora 1.1 출시: 영상 품질 및 지속 시간 크게 향상 205

오늘날 저희는 Open-Sora-Plan v1.1.0 출시를 기쁘게 발표합니다. 이번 업데이트는 비디오 생성 품질, 지속 시간, 그리고 텍스트 제어 기능을 크게 향상시켰습니다.이전 Open-Sora-Plan v1.1.0 버전과 비교하여 다음과 같은 개선 사항이 이루어졌습니다.

더 나은 압축 시각 표현: 저희는 CausalVideoVAE 아키텍처를 최적화하여 더욱 강력한 성능과 높은 추론 효율을 달성했습니다.

더 높은 생성 품질 및 더 긴 지속 시간: 더 높은 품질의 시각 데이터와 캡션, 그리고 ShareGPT4Video의 장편 비디오 주석 처리 능력을 활용하여 더욱 높은 품질의 더 긴 비디오를 생성할 수 있게 되었습니다.

성능 개선 외에도 Open-Sora-Plan v1.1.0은 v1.0.0의 미니멀한 설계와 데이터 효율성을 그대로 유지하고 있습니다. 특히 v1.1.0은 Sora 기본 모델과 유사한 성능을 보여주며, 이는 저희 버전의 발전이 Sora 데모의 스케일링 법칙과 일치함을 시사합니다.

저희는 커뮤니티의 미래 비디오 생성 발전을 촉진하기 위해 Open-Sora-Plan을 오픈소스로 공개했습니다. 코드, 데이터, 모델이 모두 공개될 예정입니다.

데모: Hugging Face 데모는 여기에서 확인할 수 있습니다.

코드: 모든 학습 스크립트 및 예제 스크립트.

모델: Diffusion Model 및 CasualVideoVAE는 여기에서 확인할 수 있습니다.

데이터: 원본 비디오 및 자막은 여기에서 확인할 수 있습니다.

GitHub: https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

온라인 체험: https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0은 transformer 기반의 텍스트-비디오 확산 시스템으로, T5 기반의 텍스트 임베딩을 통해 학습되었습니다.