Видеогенеративные модели ByteDance PixelDance и Seaweed официально запущены на Jimeng AI 201

15 ноября 2024 года две модели генерации видео от ByteDance — PixelDance и Seaweed — были официально запущены на платформе Jimeng AI. В настоящее время веб-версия и мобильное приложение поддерживают использование этих двух моделей, которые открыты для бесплатного публичного доступа. Пользователи могут воспользоваться этой функцией через раздел «Генерация видео» в Jimeng ai.

Модель PixelDance поддерживает генерацию видео из текста и генерацию видео из изображения, способна создавать высококачественные видеофрагменты длительностью до 10 секунд, при этом движения персонажей приближены к реалистичности фотографий, превосходя ограничения модели Sora от OpenAI в воспроизведении сложных движений. Модель Seaweed демонстрирует высокую согласованность первого кадра в сценариях генерации видео из изображения, сохраняя соответствие с входным изображением пользователя, а также обладает высокой эффективностью генерации — всего за 60 секунд она способна создать 5 секунд высококачественного видео, что значительно превосходит отраслевой стандарт в Китае, составляющий 3–5 минут.

Функции моделей

• PixelDance — возможности: способна генерировать волшебные спецэффекты, подходит для использования с временными подсказками, длинными планами и другими приёмами.

• Seaweed — возможности: демонстрирует хорошую согласованность первого кадра в сценариях генерации видео из изображения, сохраняя соответствие с входным изображением пользователя, точную передачу цветов и других деталей.

• Переключение планов: PixelDance обеспечивает наилучший результат при генерации 10-секундного видео с 3–5 переключениями планов, сохраняя высокую согласованность сцен и персонажей.

• Визуальные эффекты: модель Seaweed обеспечивает плавное и естественное воспроизведение сцен с интенсивным движением, создавая ощущение реалистичности.

• Описание в подсказках: благодаря небольшим, постепенным описаниям в подсказках PixelDance способна генерировать волшебные спецэффекты.

Сценарии применения

• Сфера дизайна: обе модели могут применяться в дизайне, помогая авторам создавать более креативные дизайнерские работы.

• Кинопроизводство: в кинопроизводстве эти модели могут использоваться для создания спецэффектов и сложных сцен.

• Создание анимации: модели поддерживают создание анимации, способны генерировать плавные и естественные анимационные эффекты.

• Профессиональное творчество: модели, прошедшие доработку в таких продуктовых сценариях, как Jianying и Jimeng AI, лучше обслуживают профессиональных авторов и художников.

• Создание историй: функции, предоставляемые платформой Jimeng AI, способствуют созданию историй и повышают эффективность творческого процесса.

Выпуск этих двух моделей, в особенности PixelDance, демонстрирует зрелость технологий генерации видео ByteDance, особенно в таких областях, как понимание семантики, обработка движений персонажей и согласованность при многоплановых переходах, достигая передового отраслевого уровня.