Open-Sora 1.1: значительные улучшения качества и длительности видео 202

Сегодня мы рады представить Open-Sora-Plan v1.1.0, который значительно улучшает качество и продолжительность генерации видео, а также возможности текстового управления.По сравнению с предыдущей версией Open-Sora-Plan v1.1.0 были улучшены:

Лучшее сжатое визуальное представление: мы оптимизировали архитектуру CausalVideoVAE, которая теперь обладает более высокой производительностью и эффективностью вывода.

Более высокое качество и увеличенная продолжительность генерации: мы использовали более качественные визуальные данные и подписи, а также возможности ShareGPT4Video по аннотированию длинных видео, что позволяет нам генерировать видео более высокого качества и большей продолжительности.

Помимо улучшений производительности, Open-Sora-Plan v1.1.0 сохраняет минималистичный дизайн и эффективность использования данных версии v1.0.0. Примечательно, что мы обнаружили, что v1.1.0 демонстрирует производительность, аналогичную базовой модели Sora, что указывает на то, что эволюция нашей версии соответствует законам масштабирования, продемонстрированным Sora.

Мы открыли исходный код Open-Sora-Plan, чтобы способствовать дальнейшему развитию генерации видео в сообществе. Код, данные и модели будут предоставлены в открытый доступ.

Демонстрация: демонстрация на Hugging Face доступна здесь.

Код: все скрипты обучения и примеры скриптов.

Модели: Diffusion Model и CasualVideoVAE доступны здесь.

Данные: исходные видео и субтитры доступны здесь.

GitHub: https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

Онлайн-тестирование: https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0 — это система преобразования текста в видео на основе трансформера с диффузией, обученная на текстовых эмбеддингах на базе T5.