Помощник сценариста▸ 
AI Приложения 
AI Новости 
LTX Video: открытая модель ИИ для генерации видео в реальном времени от Lightricks
LTX Video: открытая модель ИИ для генерации видео в реальном времени от LightricksОписание
LTXV, сокращение от LTX Video, — это модель генерации видео с открытым исходным кодом, разработанная AI-компанией Lightricks. LTX-Video является первой моделью генерации видео на основе DiT, способной в реальном времени создавать высококачественные видео с реалистичным и разнообразным контентом. Модель LTXV построена на архитектуре DiT с 200 миллионами параметров и способна сгенерировать 5 секунд качественного видео за 4 секунды, превышая скорость воспроизведения. LTXV поддерживает генерацию видеоконтента с разрешением 768×512 пикселей и частотой кадров 24 кадра в секунду, обеспечивая плавность между кадрами. LTXV оптимизирована для систем GPU и TPU, предоставляя возможности масштабируемого создания длинных видео и представляя собой новейшее достижение в технологии генерации видео.
Преимущества LTXV:
Масштабируемое создание длинных видео: способность генерировать расширенные высококачественные видео с масштабируемой согласованностью, обеспечивая большую гибкость и контроль.
Более быстрая обработка и рендеринг: LTXV оптимизирована для систем GPU и TPU, что значительно сокращает время генерации видео при сохранении высокого визуального качества.
Непревзойдённая согласованность движения и структуры: уникальное обучение «от кадра к кадру» в LTXV обеспечивает плавные переходы между кадрами, устраняя такие проблемы, как мерцание и несоответствия в сцене.
Основные особенности LTXV:
Возможность генерации в реальном времени: LTXV способна генерировать видео со скоростью, превышающей скорость воспроизведения. В частности, она может создать 5 секунд качественного видео с разрешением 768x512 и частотой 24 кадра в секунду (FPS) всего за 4 секунды.
Высококачественный вывод: модель LTXV поддерживает генерацию видео с высоким разрешением и высокой частотой кадров, обеспечивая чёткий и яркий видеоконтент.
Согласованность движения: LTXV уделяет особое внимание согласованности движения между кадрами, эффективно уменьшая проблемы деформации объектов и несогласованности движений, делая генерируемое видео более естественным.
Открытый исходный код и масштабируемость: будучи моделью с открытым исходным кодом, LTXV позволяет разработчикам и исследователям свободно получать доступ к коду и модифицировать его в соответствии с различными прикладными задачами. Эта открытая стратегия способствует инновациям и сотрудничеству.
Совместимость с оборудованием: модель LTXV оптимизирована для эффективной работы на различном оборудовании, особенно демонстрируя отличные результаты на видеокартах серии NVIDIA RTX.
Техническая архитектура LTXV:
LTXV использует передовую архитектуру Diffusion Transformer, которая сочетает преимущества диффузионных моделей и Transformer, генерируя высококачественный видеоконтент посредством имитации процесса перехода от шума к данным. Кроме того, она использует текстовый кодировщик для преобразования входного текста в семантические векторы, управляющие процессом генерации видео.
Сценарии применения LTXV:
LTXV подходит не только для быстрого создания видеоконтента, такого как апскейлинг игровой графики, создание рекламы для электронной коммерции и т. д., но и для помощи создателям в быстром производстве высококачественного видеоконтента. Интегрируя LTXV в существующие рабочие процессы, создатели могут более эффективно удовлетворять рыночный спрос и проводить инновационные эксперименты.
Исходный код и модель LTXV уже открыты, и на таких платформах, как ComfyUI, LTXV быстро получила поддержку соответствующих энтузиастов.
Адрес проекта LTX-Video: https://github.com/Lightricks/LTX-Video
Интеграция с ComfyUI: https://github.com/Lightricks/ComfyUI-LTXVideo/
Связанные новости:
