대본 기획 도우미▸ 
AI 앱 
AI 뉴스 
Tora: Alibaba가推出的한 AI 영상 생성 프레임워크
Tora: Alibaba가推出的한 AI 영상 생성 프레임워크소개
알리바바 Tora비디오는 알리바바에서推出的ai비디오 생성 프레임워크로, 궤적 유도 확산 변환기(DiT) 기술을 기반으로 텍스트, 시각, 궤적 조건을 융합하여 고품질의 물리적 세계에 부합하는 동적 영상을 생성합니다.
Tora 주요 기능 특징:
궤적 유도 비디오 생성: Tora는 주어진 궤적에 따라 비디오를 생성할 수 있으며, 움직임의 일관성과 정확성을 유지합니다. 궤적 추출기(Trajectory Extractor, TE)는 입력된 궤적을 계층적인 시공간 모션 블록으로 변환하며, 이러한 모션 블록은 비디오 콘텐츠의 잠재 공간과 일치합니다.
다중 모달 입력 통합: Tora는 텍스트, 이미지, 궤적 조건의 동시 입력을 지원하여 다차원적인 비디오 콘텐츠 제어를 실현합니다. 이는 사용자가 텍스트 설명, 이미지 또는 물체의 이동 경로를 통해 비디오를 생성할 수 있음을 의미합니다.
고해상도 비디오 출력: Tora는 720p 고해상도에서 최대 204프레임의 비디오를 생성하여 비디오 품질을 보장합니다. 이렇게 하면 생성된 비디오가 선명한画面일 뿐만 아니라 움직임도 부드럽습니다.
물리적 세계 동적 시뮬레이션: Tora가 생성한 비디오의 움직임 효과는 중력과 역학 원리와 같은 현실 세계의 물리적 동적과 유사합니다. 시공간 확산 변환기(Spatial-Temporal DiT)를 통해 Tora는 비디오 데이터를 처리하여 모델이连贯된 움직임을 가진 비디오를 이해하고 생성할 수 있게 합니다.
유연한 콘텐츠 제작: Tora는 다양한 길이, 가로세로 비율 및 해상도의 비디오 생성을 지원하여 다양한 창작 요구 사항을 충족합니다. 단편이든 장편이든, 표준 가로세로 비율이든 사용자 정의 가로세로 비율이든, Tora는 모두 적응할 수 있습니다.
모션 가이드 퓨저(Motion-guidance Fuser, MGF): 이 구성 요소는 궤적 추출기에서 생성된 시공간 모션 블록을 DiT 모델에 통합하여 생성된 비디오 콘텐츠가预定된 궤적과 동적을 따르도록 보장합니다. MGF는自适应 정규화 레이어를 통해 모션 패치를 DiT 블록에 통합하여 비디오 콘텐츠의 동적을 정확하게 제어합니다.
2단계 훈련 전략: Tora가 움직임을 더 잘 이해하고 생성할 수 있도록 하기 위해 2단계 훈련 과정을 통해 학습합니다. 먼저 조밀한 광학을 사용하여 훈련한 다음, 희소 궤적을 사용하여 미세 조정하여 모델의 움직임 제어의 유연성과 정확성을 향상시킵니다.
데이터 전처리: 훈련 전에 Tora는 비디오 데이터에 대한 일부 처리가 필요합니다. 예를 들어 장면 감지에 따라 긴 비디오를 짧은 클립으로 분할한 다음, 미적 점수와 움직임 분할 결과에 따라 훈련에 적합한 비디오 클립을 선택합니다.
Tora 주요 기능 모듈
궤적 추출기(Trajectory Extractor, TE): 입력된 궤적을 계층적인 시공간 모션 블록으로 변환하며, 이러한 모션 블록은 비디오 콘텐츠의 잠재 공간과 일치합니다.
시공간 확산 변환기(Spatial-Temporal DiT): 공간과 시간의 자기 주의 메커니즘을 결합하여 비디오 데이터를 처리하며, 모델이连贯된 움직임을 가진 비디오를 이해하고 생성할 수 있게 합니다.
모션 가이드 퓨저(Motion-guidance Fuser, MGF): 궤적 추출기에서 생성된 시공간 모션 블록을 DiT 모델에 통합하여 생성된 비디오 콘텐츠가预定된 궤적과 동적을 따르도록 보장합니다.
Tora 적용 시나리오:
영화 및 TV 제작: 영화 및 TV 제작에서 Tora는 영화, 드라마 또는 단편의特效 장면을 생성하는 데 사용될 수 있으며, 궤적 제어를 통해 복잡한 동적 화면을 생성하여 실제 촬영 비용과 시간을 절감합니다.
애니메이션 제작: 스크립트에 따라 애니메이션 시퀀스를 자동으로 생성하여 애니메이터에게 초기 동적 스케치를 제공함으로써 창작 과정을 가속화합니다.
가상 현실(VR) 및 증강 현실(AR): 사용자와 상호 작용하는 동적 환경을 생성하여 VR 및 AR 응용 프로그램에 사실적인 시각 효과를 제공합니다.
게임 개발: 게임 환경과 캐릭터 애니메이션을 빠르게 생성하여 게임 설계의 효율성을 높입니다.
Tora 접근 방법:
Tora 프로젝트 공식 웹사이트: https://ali-videoai.github.io/tora_video/
Tora GitHub 저장소: https://github.com/ali-videoai/Tora
Tora arXiv 기술 논문: https://arxiv.org/pdf/2407.21705
총而言之, Tora가 생성한 비디오는 품질이 매우 높고, 10-60초의 고해상도 비디오를 생성할 수 있으며, 다양한 해상도와 가로세로 비율에서出色的 성능을 발휘합니다. Tora의 비디오는 부드러울 뿐만 아니라 물리적 세계의 움직임을 세밀하게 시뮬레이션할 수 있습니다. Tora의 궤적 제어 기능도 사용자들로부터 높은 평가를 받았습니다.
