MMStoryAgent: мультимодальная система генерации историй на базе ИИ с открытым кодом от SJTU и Alibaba 188

Что такое MM-StoryAgent?

MM-StoryAgent — это мультимодальная система генерации историй с открытым исходным кодом, разработанная Шанхайским университетом Цзяо Тун (SJTU) и Alibaba, которая использует парадигму мультиагентных систем и способна создавать иммерсивные аудиокниги в виде видео. Она объединяет текст, изображения, аудио и другие элементы, и с помощью больших языковых моделей и ряда специализированных инструментов автоматически генерирует видеоистории, содержащие текст, изображения и многоканальное аудио (закадровый голос, звуковые эффекты, фоновую музыку), что может использоваться для быстрого создания детских историй.

Функциональные особенности MM-StoryAgent

• Создание высококачественных историй: создание историй на основе введённых сюжетных установок посредством многоагентного, многоэтапного процесса. Используется подход «сверху вниз» для разработки черновика и «снизу вверх» для генерации материалов, что решает проблемы ручного вмешательства, организации сцен и согласованности повествования.

• Генерация мультимодального контента: создание иммерсивных видеоисторий с объединением текстовой, графической, голосовой и музыкальной модальностей. Задачи разделяются и распределяются между различными специализированными «агентами», такими как агенты, отвечающие за дизайн истории, создание раскадровки, создание видео и т. д., что имитирует профессиональный рабочий процесс продакшена.

• Поддержка настраиваемых рабочих процессов: предоставляются надёжные и настраиваемые рабочие процессы; пользователи могут настраивать поведение агентов с помощью конфигурационных файлов и определять собственные специализированные инструменты для повышения качества генерации каждого компонента.

• Повышенная согласованность персонажей: в процессе генерации особое внимание уделяется согласованности персонажей и темы. Применяются индивидуальный метод преобразования изображения в видео и новый процесс создания раскадровки, что обеспечивает согласованность объектов между кадрами.

• Автоматизация и гибкость: используя большие языковые модели и специализированные инструменты, система способна автоматически преобразовывать простые подсказки в мультимодальные цифровые истории и генерировать связный контент без использования референсных видео.

• Удобство оценки и оптимизации: предоставляются списки сюжетных тем и критерии оценки, что позволяет пользователям оценивать качество сгенерированных историй и совершенствовать их.

Ключевые технологии MM-StoryAgent

• Механизм работы мультиагентного фреймворка: создание историй посредством многоэтапного процесса письма и сотрудничества нескольких агентов с интеграцией визуальных, звуковых и повествовательных элементов, что обеспечивает комплексное сенсорное восприятие.

• Индивидуальный метод преобразования изображения в видео: представлен LoRA-BE — индивидуальный метод преобразования изображения в видео, который усиливает временну́ю согласованность внутри кадра и повышает визуальное качество видео.

Как пользоваться MM-StoryAgent

1. Получение исходного кода: посетите репозиторий MM_StoryAgent на GitHub (см. ссылку ниже) и загрузите исходный код.

2. Установка зависимостей: следуя документации проекта, установите необходимые пакеты, такие как библиотеки Python.

3. Настройка окружения: настройте среду разработки, убедитесь в корректной установке зависимостей; возможно, потребуется настроить некоторые переменные окружения.

4. Подготовка входных данных: подготовьте данные, такие как сюжетные установки, описания персонажей и информация о сценах, для создания истории.

5. Запуск процесса генерации: используйте предоставленные скрипты или инструменты командной строки для запуска процесса генерации; вы можете настроить историю, указав входные данные и параметры.

6. Просмотр результатов оценки: после генерации видеоформата истории просмотрите и оцените её качество и эффект, при необходимости выполните корректировки.

7. Оптимизация и итерации: на основе результатов оценки скорректируйте входные данные или параметры и повторно запустите процесс генерации для оптимизации содержания истории и её выразительности.

Репозиторий на GitHub:https://github.com/X-PLUG/MM_StoryAgent