SkyReels-V1: 중국 최초의 AI 단편 드라마 창작용 영상 생성 모델 124

쿤룬완위 SkyReels-V1은 중국 최초의 AI 단막극 제작을 위한 비디오 생성 모델로, 영화급 인물 미세 표정 연기 생성을 구현할 수 있으며, 33가지의 섬세한 인물 표정과 400가지 이상의 자연스러운 동작 조합을 지원하여 실제 사람의 감정 표현을 높은 수준으로 재현합니다.

SkyReels-V1 기능 특징

• 영화급 인물 미세 표정 연기: 33가지의 섬세한 인물 표정과 400가지 이상의 자연스러운 동작 조합을 지원하여 실제 사람의 감정 표현을 높은 수준으로 재현합니다.

• 시네마틱 라이팅 아트: 할리우드급 고품질 영화 및 TV 데이터를 기반으로 학습되어, 생성되는 모든 프레임의 화면이构图(구도), 배우 위치, 카메라 앵글 등에서 영화급 질감을 갖추고 있습니다.

• 다양한 비디오 생성 모드: 오픈소스 비디오 생성 모델 중 가장 큰 파라미터 규모를 갖추며 이미지-투-비디오를 지원하는 모델로, 동일한 해상도에서各项 지표가 오픈소스 분야의先进 수준에 도달합니다.

• 강력한 인물 비디오 이해 능력: 인물을 핵심으로 하는 비디오 이해 멀티모달 대형 모델로서, 비디오 내 인물 관련 콘텐츠에 대한 이해 능력을 향상시키며, 영화적 표정 인식, 인물의 공간 위치 인식, 행동 의도 이해, 연기 장면 이해 등을 포괄합니다.

• 매우 높은 추론 효율: 자체 개발한 추론 최적화 프레임워크 "SkyReels-Infer"의 도움으로 추론 효율이 크게 향상되었습니다. 544p 해상도에서 단일 4090 GPU로 80초 만에 추론이 가능하며, 분산 멀티 GPU 병렬 처리도 지원합니다.

SkyReels-V1 적용 시나리오:

• AI 단막극 제작: 높은 연기 디테일과 영화급 질감을 갖춘 단막극 콘텐츠를 생성하여, 전통적인 단막극 제작 과정의 번거로움, 높은 비용, 긴 기간 문제를 효과적으로 해결합니다.

• 소셜 미디어 콘텐츠 제작: 고품질 단막극 콘텐츠를 빠르게 생산하여 콘텐츠의 매력을 강화합니다.

• 브랜드 광고 제작: 브랜드 톤에 맞는创意적인 단막극 콘텐츠를 신속하게 생성하여 제작 시간과 비용을 절약합니다.

• 교육 및 훈련: 교육용 비디오를 생성하여生动한 방식으로 강의 내용을 보여줍니다.

• 엔터테인먼트 및 가상 캐릭터: 가상 아이돌, 게임 시네마틱 애니메이션을 제작하거나 라이브 방송 플랫폼에 가상 아나운서 콘텐츠를 제공합니다.
  

SkyReels-V1 사용 방법

• 오픈소스 주소 방문: SkyReels-V1의 오픈소스 주소 https://github.com/SkyworkAI/SkyReels-V1 를 방문할 수 있습니다.

• 다운로드 및 설치: 오픈소스 라이선스에 따라 SkyReels-V1 및 그 의존성을 다운로드하고 설치합니다.

• 데이터 준비: 자체 개발한 고품질 데이터 정제 및 수동 주석 파이프라인을 활용하여 천만 규모의 고품질 영화, 드라마, 다큐멘터리 데이터셋을 구축합니다.

• 모델 학습 및 미세 조정: 자체 개발한 "Human-Centric" 비디오 이해 멀티모달 대형 모델을 기반으로 SkyReels-V1을 학습 및 미세 조정하여, 인물 연기, 장면 이해等方面的 능력을 향상시킵니다.

• 비디오 생성: 학습된 모델을 사용하여 비디오를 생성하며, 텍스트-투-비디오 및 이미지-투-비디오 두 가지 모드를 지원합니다.

• 최적화 및 배포: 자체 개발한 추론 최적화 프레임워크 "SkyReels-Infer"를 활용하여 모델을 최적화 및 배포함으로써, 추론 효율을 높이고 자원 소모를 줄입니다.

관련 링크:

Github: https://github.com/SkyworkAI/SkyReels-V1

기술 보고서: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf