대본 기획 도우미▸ 
AI 앱 
AI 뉴스 Open-Sora 2.0: Luchen Tech가推出的 오픈소스 SOTA 비디오 생성 모델
小编 ·
Open-Sora 2.0: Luchen Tech가推出的 오픈소스 SOTA 비디오 생성 모델
Open-Sora 2.0이란 무엇인가요?
Open-Sora 2.0는 루천 테크놀로지(Luchentech)가 출시한 새로운 오픈소스 SOTA 비디오 생성 AI 모델입니다. 단 20만 달러(224개 GPU)만으로 상업용 수준의 11B 파라미터 비디오 생성 대형 모델을 성공적으로 학습시켜, SOTA(최고 수준)에 근접한 품질을 달성하면서도 HunyuanVideo 및 30B 파라미터의 Step-Video를 바짝 추격하며 OpenAI Sora에 근접한 성능을 보여줍니다! Open-Sora 2.0은 효율적인 학습과 추론 최적화를 갖추고 있어, 720p 해상도의 부드러운 비디오를 빠르게 생성할 수 있으며, 크리에이티브 비디오 제작 및 소셜 미디어 콘텐츠 생성 등 다양한 분야에 활용할 수 있습니다.
Open-Sora 2.0 기능 특징
고품질 비디오 생성: 720p 고해상도와 24FPS의 부드러운 비디오 생성을 지원하며, 디테일이 풍부하고 장면 전환이 자연스러운 비디오를 생성할 수 있습니다.
동작 강도 조절 가능: 필요에 따라 동작 강도를 설정하여 인물이나 장면의 섬세한 동작을 더 잘 표현할 수 있습니다.
고성능과 저비용:
Open-Sora 2.0은 11B 파라미터 규모를 채택하여 주류 폐쇄형 대형 모델(예: HunyuanVideo 및 30B 파라미터의 Step-Video)과 필적하거나 이를 능가하는 성능을 보이며, VBench 및 사용자 선호도 테스트에서 뛰어난 성과를 거두었습니다.
학습 비용이 크게 절감되어, 단 20만 달러(224개 GPU)만으로 학습을 완료할 수 있으며, 전통적인 고성능 비디오 생성 모델에 비해 비용이 5~10배 절감됩니다. OpenAI Sora에 필적합니다.
다양한 생성 방식:
효율적인 학습과 최적화:
다단계 및 다층 데이터 필터링 메커니즘을 채택하여 고품질 데이터 입력을 보장하고, 학습 효율성을 향상시킵니다.
저해상도에서 우선적으로 학습하여 핵심 동적 특징을 습득한 후, 점진적으로 해상도를 높여 계산 오버헤드를 크게 줄입니다.
이미지 투 비디오 작업을 우선 학습하여 이미지 특징으로 비디오 생성을 유도함으로써 모델 수렴 속도를 높입니다.
ColossalAI와 시스템 수준 최적화를 결합하여 컴퓨팅 자원 활용률을 향상시킵니다.
고압축률 비디오 오토인코더를 도입하여 추론 시간을 단일 GPU 기준 3분 이내로 단축하고, 추론 속도를 10배 향상시켰습니다.
강력한 모델 아키텍처:
3D 오토인코더, 3D 풀 어텐션 메커니즘 및 MMDiT 아키텍처를 기반으로 하여 학습 효율과 추론 속도를 크게 향상시킵니다.
멀티 버킷 학습 메커니즘을 통해 다양한 비디오 길이와 해상도에 대한 동시 학습을 실현합니다.
Open-Sora 2.0 기술적 돌파구
모델 아키텍처: 3D 풀 어텐션 메커니즘과 MMDiT 아키텍처를 채택하여 시공간 특징 모델링 능력을 강화하고, 확산 트랜스포머(DiT) 확장을 기반으로 시간 어텐션 레이어를 도입하여 비디오 시퀀스의 동적 생성을 실현합니다.
효율적인 학습 전략: 다단계 필터링 메커니즘을 통해 고품질 학습 데이터 입력을 보장하고, 동작 특징을 우선 학습한 후 이미지 투 비디오(T2I2V)를 통해 화질을 향상시켜 컴퓨팅 자원을 40배 절약합니다.
추론 가속 혁신: 고압축 오토인코더(4×32×32 압축비)를 채택하여 768px 비디오 생성 시간을 30분에서 3분으로 단축, 속도를 10배 향상시켰습니다.
Open-Sora 2.0 활용 시나리오
크리에이티브 비디오 제작: SF 단편, 애니메이션 단편 등의 제작에 활용되어 크리에이티브 비디오 제작 및 콘텐츠 생성 수요를 충족할 수 있습니다.
소셜 미디어 콘텐츠 생성: 소셜 미디어 공유에 적합한 고품질 비디오 콘텐츠를 생성할 수 있습니다.
게임 비디오 제작: 게임 비디오 제작에 편리함을 제공합니다.
GitHub 오픈소스 저장소:https://github.com/hpcaitech/Open-Sora
기술 보고서:https://github.com/hpcaitech/Open-Sora-Demo/blob/main/paper/Open_Sora_2_tech_report.pdf
