MuseSteamer: собственная ИИ-модель генерации видео от Baidu 199

MuseSteamer — это модель генерации видео, выпущенная Baidu 2 июля 2025 года. Она способна одновременно генерировать изображение, звуковые эффекты и реплики, являясь первой моделью, реализующей комплексную генерацию аудио и видео на китайском языке, что изменяет традиционную модель AIGC видео, при которой сначала создаётся изображение, а затем выполняется озвучка. Baidu также одновременно запустила платформу для создания AI-видео «绘想».

Функциональные особенности:

• Комплексная генерация аудио и видео: первая в мире модель генерации видео, реализующая комплексную генерацию аудио и видео на китайском языке, способная совместно создавать изображение, звуковые эффекты и реплики персонажей, разрушая разрозненный процесс традиционного AIGC-видео «сначала изображение, потом озвучка».
  

• Мультимодальный ввод: поддержка ввода текстовых подсказок на китайском языке, референсных изображений и других способов.

• Генерация видео: возможность создавать динамичные видеоролики длительностью до 10 секунд с превосходным качеством изображения, гибким управлением сценами, действиями и ракурсами камеры, обеспечивая комплексную генерацию аудио и видео. Например, сгенерированное видео в жанре исторического ушу отличается естественными движениями и мимикой персонажей, а также профессиональной операторской работой.

• Комплексная генерация: возможность одновременного создания изображения, звуковых эффектов и реплик, естественное согласование звука и изображения, повышение целостности и художественной выразительности видео.

• Понимание семантики китайского языка: точное понимание семантики китайского языка за счёт оптимизации системы данных, обеспечивающей семантическое соответствие между текстовыми инструкциями и визуальными элементами.

• Язык описания видео: используется детализированный структурированный язык описания видео, охватывающий детали изображения, траектории движения объектов, стилевые атрибуты и язык камеры, что обеспечивает точное следование модели деталям изображения.

Технологические прорывы:

• Очистка мультимодальных данных на китайском языке в масштабе сотен миллионов: глубокая очистка большого объёма китайских мультимодальных данных для обеспечения высокого качества обучающих данных.

• Детализированный структурированный язык описания видео: повышение способности модели понимать и генерировать видеоконтент.

• Многоцелевое обучение с подкреплением: оптимизация путей для обеспечения амплитуды движений в видео при сохранении стабильного вывода согласованного содержания объектов.

Линейка продуктов и целевая аудитория:

• Версия Lite: 720p, высокая скорость генерации (30 секунд), доступная цена, подходит для пользователей, стремящихся к оптимальному соотношению цены и качества.

• Версия Turbo: 720p, специализируется на генерации видео с персонажами и в аниме-стиле, отличается хорошей согласованностью движений, большой амплитудой движений и естественной мимикой, подходит для большинства создателей контента, уже запущена на платформе 绘想 с открытым бесплатным публичным тестированием на ограниченное время.

• Версия Pro: 1080p, кинематографическое качество изображения и операторской работы, высокая выразительность, подходит для профессиональных создателей контента и организаций кинопроизводства.

• Версия со звуком: поддерживает комплексную генерацию звуковых эффектов и реплик при любом разрешении, подходит для пользователей с высокими требованиями к синхронному звуку и изображению.

Сценарии применения:

• Создание видео: помощь создателям контента в преодолении творческих барьеров и быстрой генерации высококачественного видео.

• Производство рекламы: предоставление эффективных решений для создания рекламных видеороликов, повышение их привлекательности.

• Образование и обучение: генерация обучающих видео и анимации для наглядного объяснения сложных концепций.

• Личные развлечения: пользователи могут загружать изображения для генерации персонализированных видео и делиться личными историями.