Xunguang: платформа создания AI-видео от Alibaba DAMO Academy 137

Сюньгуан — это универсальная платформа для создания AIвидео, запущенная Институтом DAMO Alibaba. Сюньгуан впервые была представлена на Шанхайской всемирной конференции по искусственному интеллекту (WAIC) в 2024 году и привлекла широкое внимание. Цель Сюньгуан — сделать процесс редактирования видео таким же простым, как работа с ppt, позволяя даже непрофессиональным пользователям эффективно создавать качественный видеоконтент.

Сюньгуан помогает пользователям выполнять на одной платформе такие этапы, как написание сценария, создание раскадровки и монтаж видеоматериалов, которые традиционно были разбросаны по разным процессам производства, а также помогает в создании сценариев и раскадровок.

Сюньгуан поддерживает множество функций AI-редактирования сгенерированных и загруженных материалов, включая более 10 возможностей: управление персонажами, управление сценами, управление движением камеры, добавление/удаление/изменение объектов и т.д. Кроме того, платформа делает ставку на взаимодействие по принципу «редактирование видео так же просто, как работа с PPT» и предоставляет возможности редактирования на основе видеослоёв, а также функцию разделения слоёв.

Официальный адрес Сюньгуан:https://xunguang.damo-vision.com/

Основные функции Сюньгуан:

• Универсальный сервис: платформа Сюньгуан объединяет все этапы видеопроизводства, включая написание сценариев, создание раскадровок и монтаж материалов, что позволяет создателям выполнять весь процесс создания видео на одной платформе, не переключаясь между несколькими инструментами.

• Возможности AI-редактирования: платформа предоставляет инструменты тонкого редактирования, позволяющие пользователям работать на семантическом уровне, например, управлять содержимым видео с помощью текстовых команд, обеспечивая интеллектуальное управление персонажами, сценами, движением камеры и т.д. Пользователи могут легко регулировать угол съёмки, удалять или изменять объекты и даже точно контролировать движения лица.

• Редактирование видеослоёв: инновация Сюньгуан заключается в функции редактирования видеослоёв. Пользователи могут легко извлекать и редактировать определённые объекты в видео, такие как персонажи или предметы. Эти объекты будут иметь прозрачный фон, что облегчает их объединение с другими фонами. Даже сложные детали, такие как развевающиеся волосы, могут быть тщательно обработаны. Как AI-материалы, так и реальные кадры можно изменять с помощью различных функций редактирования, а также доступны функции разделения и слияния слоёв для создания индивидуального видеоконтента.

• Перенос стиля и управление движением камеры: платформа поддерживает более 20 видов переноса стиля, что упрощает изменение визуального стиля видео. Одновременно предоставляется управление различными эффектами движения камеры, такими как панорамирование, приближение/удаление, облёт и т.д., что усиливает визуальное воздействие видео.

• Помощь в создании сценариев и раскадровок: Сюньгуан не только упрощает постобработку, но и помогает пользователям на ранних этапах создания сценариев и раскадровок, значительно повышая эффективность и расширяя пространство для творчества.

• Раскадровка-история одним нажатием: от сценария до раскадровки — Сюньгуан позволяет AI сопровождать ваш режиссёрский путь. Больше не нужно полагаться только на воображение — изображение рождается само, и хорошая история сразу оживает.

• Создайте персонажей вашей истории: кто станет главным героем и блеснёт актёрским мастерством в вашем сюжете? Теперь Сюньгуан создаст их специально для вас — актёры находятся под вашим контролем.

• Свободное создание визуальных материалов: пусть Сюньгуан создаст согласованных персонажей и сцены в соответствии с вашими идеями, а затем с помощью управления движением камеры и монтажа движения создаст ваш персональный блокбастер.

Требования к заявке на бета-тестирование видеоплатформы Сюньгуан от Института DAMO:

• Массовые пользователи, группа UGC, представленная обычными энтузиастами

• Полупрофессиональные пользователи, группа PUGC, представленная авторами собственных медиа или небольшими студиями

• Профессиональные пользователи, группа PGC, использующая стандартные рабочие процессы и осуществляющая командную коммерческую доставку

Сюньгуан разработана Лабораторией компьютерного зрения Института DAMO, которая занимается исследованиями в области понимания и генерации мультимодальных визуальных сигналов. Текущие ключевые направления исследований включают более точную генерацию изображений/видео/3D-контента, более управляемое редактирование изображений/видео/3D-контента, более эффективные генеративные фреймворки, мультимодальную генерацию с дополнением поиском, а также унифицированный фреймворк мультимодального понимания-генерации и т.д.

Официальный адрес Сюньгуан:https://xunguang.damo-vision.com/