SkyReels AI: первая в мире платформа для создания видео, объединяющая 3D-движок и генеративный ИИ 274

SkyReels ai — это платформа для создания AI-короткометражек, запущенная компанией Kunlun Tech. Она объединяет большую модель для работы с видео и большую 3D-модель, способную генерировать полный сценарий, раскадровку, диалоги персонажей и фоновую музыку (BGM) одним нажатием с помощью ИИ, а также поддерживает пользовательскую настройку внешности персонажей, тембра голоса и раскадровки.

SkyReels объединяет разработанные Kunlun Tech языковые модели для написания сценариев (LLM) SkyScript, раскадровки StoryboardGen и 3D-генерации Sky3DGen, а также инновационную платформу WorldEngine, которая интегрирует 3D-движок на основе ИИ с моделью генерации видео на основе ИИ, открывая беспрецедентные возможности для творчества.

SkyReels демонстрирует выдающиеся результаты в качестве сценариев, раскадровки и актёрской игры персонажей. Всего одним нажатием можно сгенерировать полный сценарий, раскадровку, диалоги персонажей и фоновую музыку. Платформа поддерживает настройку внешности персонажей, их голосов и раскадровки, а также автоматически преобразует контент в видео высокой чёткости 1080P 60fps. Она способна генерировать видео длительностью до 180 секунд.

Цель SkyReels Ai — произвести революцию в традиционном процессе создания видеоконтента и освободить авторов от утомительного и сложного производственного процесса. Кроме того, SkyReels предлагает инструмент для генерации AI-комиксов, позволяющий пользователям без навыков рисования превращать свои истории в качественные комиксы.

Функциональные особенности SkyReels Ai:

Генерация сценария и видео одним нажатием: SkyReels способен с помощью технологий ИИ одним нажатием генерировать полный сценарий, раскадровку, диалоги персонажей и фоновую музыку (BGM), а также поддерживает пользовательскую настройку внешности персонажей, тембра голоса и раскадровки.

Видео высокой чёткости: SkyReels Ai может автоматически преобразовывать контент в видео высокой чёткости 1080P 60 кадров в секунду, создавая за один раз видео длительностью до 180 секунд. Это даёт значительное преимущество среди аналогичных продуктов: например, Sora за раз может генерировать только 60 секунд видео, а Kling — лишь 10 секунд.

Настройка персонажей и дизайн сюжета: пользователи могут с помощью SkyReels настраивать внешность персонажей, тембр голоса и раскадровку. Платформа объединяет функции генерации сценария, создания персонажей, проектирования раскадровки, сюжета, диалогов/BGM и монтажа фильма, позволяя авторам легко создавать качественное AI-видео.

Эмоциональный синтез речи: SkyReels использует технологию эмоционального синтеза речи, помогающую диктору говорить выразительной, ритмичной речью, а диалоги персонажей наполнять богатыми, насыщенными эмоциями.

Понимание текста и прогнозирование диалогов: технология понимания текста на основе ИИ, обученная на десятках тысяч романов, способна автоматически распознавать из текста диалоги персонажей и эмоциональную окраску, а также предсказывать уместные паузы между предложениями.

Преимущества SkyReels Ai:

Полностью автоматическая генерация сценария: пользователь вводит концепцию или идею, и одним нажатием искусственный интеллект создаёт полный, хорошо структурированный и увлекательный сценарий. Также поддерживается автоматическая организация и доработка существующих сценариев для повышения эффективности.

Высококачественный дизайн сюжета: система анализирует огромные массивы данных сценариев, генерируя высококачественные сюжетные линии, драматические конфликты, яркие моменты и эмоциональную выразительность, обеспечивая богатство и увлекательность.

Интеллектуальная раскадровка: на основе сценария автоматически создаются изображения раскадровки и соответствующие текстовые описания. Пользователи могут корректировать раскадровку, ракурсы камеры и действия для точной реализации замысла.

Эмоциональные диалоги/BGM: благодаря технологии эмоционального синтеза речи персонажи получают естественные паузы, эмоциональную выразительность и интонацию. ИИ автоматически генерирует BGM в соответствии с содержанием видео, обеспечивая идеальное слияние визуального ряда и музыки.

Персональная настройка: поддерживается интеллектуальная генерация и настройка внешности персонажей, голосов и раскадровки. Доступны различные визуальные стили — аниме, мультфильм, реалистичный 3D и другие — для удовлетворения предпочтений разных авторов и потребностей контента.

Согласованность и точность: обеспечивается согласованность персонажей и сцен в разных кадрах раскадровки, а также автоматический экспорт актёрской игры персонажей в соответствии с сюжетом. Улучшается связность выражений лиц, движений и диалогов для повышения качества повествования.

Эффективная генерация видео: раскадровка автоматически преобразуется в непрерывное видео высокой чёткости с выводом 1080P 60fps, обеспечивая плавный просмотр.

Удобство постпродакшна: все творческие результаты объединяются одним нажатием, поддерживается быстрый экспорт и публикация в различных форматах, что удобно для последующего редактирования.

Генерация сценариев на основе ИИ в SkyReels обеспечивается разработанной Kunlun Tech моделью SkyScript LLM. Для обеспечения высокой плотности сюжетных точек в сгенерированных ИИ сценариях Kunlun Tech создала набор данных SkyScript-100M, предоставляющий качественные аннотации для ритма сценария, сюжетных точек и эмоциональных переходов.