Помощник сценариста▸ 
AI Приложения 
AI Новости 
Tora: фреймворк генерации видео с ИИ от Alibaba
Tora: фреймворк генерации видео с ИИ от AlibabaОписание
Alibaba Tora — это видеофреймворк, выпущенный Alibaba, предназначенный для генерации видео с помощью ИИ. Он основан на технологии Trajectory-oriented DiT (диффузионного трансформера, ориентированного на траектории), которая позволяет объединять текстовые, визуальные и траекторные условия для создания высококачественных динамических видеороликов, соответствующих законам физического мира.
Основные функциональные возможности Tora:
Генерация видео по траектории: Tora способна генерировать видео на основе заданных траекторий, сохраняя согласованность и точность движения. Экстрактор траекторий (Trajectory Extractor, TE) преобразует входные траектории в иерархические пространственно-временные блоки движения, которые согласуются с латентным пространством видеоконтента.
Интеграция мультимодальных входных данных: Tora поддерживает одновременный ввод текстовых, графических и траекторных условий, обеспечивая многомерное управление видеоконтентом. Это означает, что пользователи могут создавать видео с помощью текстовых описаний, изображений или маршрутов движения объектов.
Видео высокого разрешения: Tora способна генерировать видео с разрешением 720p длительностью до 204 кадров, гарантируя высокое качество изображения. Это обеспечивает не только чёткую картинку, но и плавное движение в создаваемых видеороликах.
Моделирование динамики физического мира: движения, генеруемые Tora, близки к физической динамике реального мира, такой как гравитация и законы кинематики. Благодаря пространственно-временному диффузионному трансформеру (Spatial-Temporal DiT) Tora способна обрабатывать видеоданные, позволяя модели понимать и создавать видео с последовательным движением.
Гибкое создание контента: Tora поддерживает генерацию видео с различной длительностью, соотношением сторон и разрешением, удовлетворяя разнообразные творческие потребности. Будь то короткие или длинные видеоролики, стандартные или пользовательские соотношения сторон — Tora способна адаптироваться к любым требованиям.
Модуль объединения управления движением (Motion-guidance Fuser, MGF): этот компонент отвечает за интеграцию пространственно-временных блоков движения, созданных экстрактором траекторий, в модель DiT, обеспечивая соответствие генерируемого видеоконтента заданным траекториям и динамике. MGF интегрирует блоки движения в блоки DiT с помощью адаптивных слоёв нормализации, точно контролируя динамику видеоконтента.
Двухэтапная стратегия обучения: чтобы Tora лучше понимала и генерировала движения, применяется двухэтапный процесс обучения. Сначала модель обучается с использованием плотного оптического потока, а затем дообучается на разреженных траекториях, что повышает гибкость и точность управления движением.
Предварительная обработка данных: перед обучением Tora выполняет обработку видеоданных, включая разбиение длинных видеороликов на короткие фрагменты на основе детекции сцен, а также отбор пригодных для обучения фрагментов по эстетическим оценкам и результатам сегментации движения.
Основные функциональные модули Tora
Экстрактор траекторий (Trajectory Extractor, TE): преобразует входные траектории в иерархические пространственно-временные блоки движения, которые соответствуют латентному пространству видеоконтента.
Пространственно-временной диффузионный трансформер (Spatial-Temporal DiT): объединяет механизмы пространственного и временного самовнимания для обработки видеоданных, позволяя модели понимать и генерировать видео с согласованным движением.
Модуль объединения управления движением (Motion-guidance Fuser, MGF): отвечает за интеграцию пространственно-временных блоков движения, созданных экстрактором траекторий, в модель DiT, обеспечивая соответствие генерируемого видеоконтента заданным траекториям и динамике.
Сценарии применения Tora:
Кинопроизводство: в кино- и телепроизводстве Tora может использоваться для создания спецэффектов в фильмах, сериалах или короткометражках, формируя сложные динамические сцены с помощью управления траекториями и сокращая затраты и время на реальные съёмки.
Создание анимации: автоматическое генерирование анимационных последовательностей по сценарию, предоставление аниматорам первоначальных динамических набросков и ускорение творческого процесса.
Виртуальная реальность (VR) и дополненная реальность (AR): создание динамических сред, взаимодействующих с пользователем, обеспечивая реалистичные визуальные эффекты для VR- и AR-приложений.
Разработка игр: быстрое создание игровых окружений и анимации персонажей, повышение эффективности игрового дизайна.
Способы доступа к Tora:
Официальный сайт проекта Tora: https://ali-videoai.github.io/tora_video/
Репозиторий Tora на GitHub: https://github.com/ali-videoai/Tora
Техническая статья Tora на arXiv: https://arxiv.org/pdf/2407.21705
В целом, качество видео, генерируемого Tora, очень высокое: модель способна создавать видеоролики высокого разрешения длительностью от 10 до 60 секунд и отлично справляется с различными разрешениями и соотношениями сторон. Видео Tora не только плавные, но и точно моделируют движения физического мира. Функция управления траекторией Tora также получила высокую оценку пользователей.
