SkyReels-A2: 임의의 시각적 요소를 합성 영상으로 조립하는 생성 모델 138

小编 · 2025-04-04

SkyReels-A2는 Skywork AI와 Kunlun Tech(崑崙万維)가 공동 개발한 제어 가능한 비디오 생성 프레임워크입니다. 텍스트 프롬프트에 따라 인물, 사물, 배경 등 임의의 시각적 요소를 합성 영상으로 조립하며, 매끄럽고 자연스러운 영상을 생성하고 각 요소의 일관성을 잘 유지합니다.

SkyReels-A2: 임의의 시각적 요소를 합성 영상으로 조립하는 생성 모델

SkyReels-A2란 무엇인가요?

SkyReels-A2는 Skywork AI와 Kunlun Wanwei(昆仑万维)가 공동 개발한 제어 가능한 비디오 생성 프레임워크로, 텍스트 프롬프트를 기반으로 임의의 시각적 요소(인물, 사물, 배경 등)를 합성 비디오로 조립할 수 있으며, 비디오는 자연스럽고 매끄럽고 각 요소의 일관성이 잘 유지됩니다.

SkyReels-A2：昆仑万维出的一个任意视觉元素组装成合成视频的生成模型.webp

SkyReels-A2의 주요 특징

다중 요소 비디오 생성: 여러 참조 이미지와 텍스트 프롬프트를 바탕으로 고품질의 자연스러운 비디오를 생성할 수 있습니다.
엄격한 일관성 유지: 생성된 비디오에서 각 요소(인물, 사물, 배경 등)가 참조 이미지와 엄격하게 일치하도록 보장합니다.
제어 가능한 생성: 텍스트 프롬프트와 참조 이미지를 통해 사용자가 생성되는 비디오의 콘텐츠를 정밀하게 제어할 수 있습니다.
효율적인 추론: 추론 프로세스를 최적화하여 생성 속도와 출력 안정성을 향상시켰습니다.

SkyReels-A2 기술 세부 사항

결합된 이미지-텍스트 임베딩 모델: 다중 요소 표현을 생성 과정에 주입하여 요소별 일관성과 전역적连贯성, 그리고 텍스트 정렬 간의 균형을 잡는 새로운 이미지-텍스트 결합 임베딩 모델을 설계했습니다.
데이터 파이프라인 설계: 모델 학습에 사용되는 텍스트-참조-비디오 트리플렛을 생성하기 위한 종합적인 데이터 파이프라인을 구축했습니다.
최적화된 추론 프로세스: Context Parallel, CFG Parallel, VAE Parallel 등 다양한 가속 전략을 통해 추론 프로세스를 최적화하여 생성 속도를 높였습니다.
공개 벤치마크 테스트: 요소-비디오(E2V) 작업을 체계적으로 평가하기 위해精心 큐레이션된 벤치마크인 A2-Bench를 도입했습니다.

SkyReels-A2：昆仑万维出的一个任意视觉元素组装成合成视频的生成模型.webp