SkyReels-V1: первая в Китае модель генерации видео для создания ИИ-короткометражек 115

昆仑万维 SkyReels-V1 — это первая в Китае модель генерации видео, ориентированная на создание ИИ-короткометражек. Она способна генерировать микровыражения персонажей на кинематографическом уровне, поддерживает 33 тонких выражений лица персонажей и более 400 естественных комбинаций движений, обеспечивая высокую степень воспроизведения эмоций реальных людей.

Особенности SkyReels-V1

• Микровыражения персонажей кинематографического уровня: поддерживает 33 тонких выражения лица персонажей и более 400 естественных комбинаций движений, обеспечивая высокую степень воспроизведения эмоций реальных людей.

• Кинематографическое световое оформление: модель обучена на высококачественных кинематографических данных голливудского уровня, поэтому каждый сгенерированный кадр обладает кинематографическим качеством с точки зрения композиции, расположения актёров, ракурсов камеры и других аспектов.

• Разнообразные режимы генерации видео: это модель генерации видео с открытым исходным кодом, обладающая наибольшим количеством параметров и поддерживающая режим изображение в видео; при одинаковом разрешении её показатели достигают передового уровня в области открытого исходного кода.

• Мощные способности понимания видео с персонажами: являясь человекocentricной мультимодальной большой моделью понимания видео, она способна улучшать понимание контента, связанного с персонажами в видео, включая распознавание кинематографических выражений, восприятие пространственного положения персонажей, понимание намерений действий и понимание сценической игры.

• Высочайшая эффективность вывода: благодаря собственной разработанной среде оптимизации вывода «SkyReels-Infer» эффективность вывода значительно повышена. При разрешении 544p вывод на одной видеокарте 4090 занимает всего 80 секунд, а также поддерживается распределённый параллельный вывод на нескольких видеокартах.

Сценарии применения SkyReels-V1:

• Создание ИИ-короткометражек: генерация короткометражного контента с высокой детализацией игры и кинематографическим качеством, эффективно решающая проблемы громоздкости процесса производства, высокой стоимости и длительных сроков традиционного создания короткометражек.

• Создание контента для социальных сетей: быстрое производство высококачественного короткометражного контента, повышающего его привлекательность.

• Производство брендовой рекламы: быстрая генерация креативного короткометражного контента, соответствующего стилю бренда, что экономит время и средства на производство.

• Образование и обучение: генерация обучающих видеороликов, наглядно демонстрирующих учебный материал.

• Развлечения и виртуальные персонажи: создание виртуальных идолов, игровых кат-сцен, а также предоставление контента с виртуальными ведущими для стриминговых платформ.
  

Как использовать SkyReels-V1

• Перейдите по адресу открытого исходного кода: можно перейти по адресу открытого исходного кода SkyReels-V1: https://github.com/SkyworkAI/SkyReels-V1

• Загрузка и установка: загрузите и установите SkyReels-V1, а также его зависимости в соответствии с лицензией открытого исходного кода.

• Подготовка данных: используя собственные конвейеры очистки данных высокого качества и ручной аннотации, создайте высококачественный набор данных из десятков миллионов единиц фильмов, сериалов и документальных фильмов.

• Обучение и дообучение модели: на основе собственной человекocentricной мультимодальной большой модели понимания видео «Human - Centric» проведите обучение и дообучение SkyReels-V1, чтобы повысить её способности в области актёрской игры, понимания сцен и других аспектах.

• Генерация видео: используйте обученную модель для генерации видео, поддерживаются два режима: текст в видео и изображение в видео.

• Оптимизация и развёртывание: используя собственную среду оптимизации вывода «SkyReels - Infer», оптимизируйте и разверните модель, чтобы повысить эффективность вывода и снизить потребление ресурсов.

Соответствующие ссылки:

Github: https://github.com/SkyworkAI/SkyReels-V1

Технический отчёт: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf