Goku: мультимодальная модель генерации видео на базе ИИ от ByteDance 169

Goku — это мультимодальная модель генерации видео, совместно разработанная Гонконгским университетом и ByteDance, основанная на архитектуре Rectified Flow Transformer и оптимизированная для совместной генерации изображений и видео. Технический отчёт модели был официально опубликован в феврале 2025 года. Её основная цель — произвести революцию в процессах создания цифрового контента благодаря низкой стоимости и высокой эффективности генерации, демонстрируя особенно впечатляющий потенциал в таких областях, как рекламный маркетинг и презентация товаров в электронной коммерции.

Функциональные особенности Goku:

Мультимодальные возможности генерации

• Текст в видео (Text-to-Video): динамическое видео генерируется напрямую по описанию на естественном языке, с поддержкой сложных сцен и взаимодействия персонажей — например, по запросу «реклама напитков на летнем пляже» создаётся законченный ролик с действиями персонажей и крупными планами продукта.

• Изображение в видео (Image-to-Video): на вход подаётся одно изображение товара или сцены, а на выходе получается динамическое демонстрационное видео, например, статичное изображение одежды преобразуется в последовательные кадры с эффектом примерки моделью.

• Текст в изображение (Text-to-Image): генерация изображений в высоком разрешении с детальным контролем параметров, таких как освещение и материалы.

Инновации в технической архитектуре

• Фреймворк Rectified Flow: Goku использует Rectified Flow Transformer в сочетании с совместным VAE (вариационным автокодировщиком) для изображений и видео, а также полностью внимательный (full-attention) Transformer. Это позволяет модели единообразно обрабатывать задачи генерации изображений и видеогенерации, сокращая число итераций, характерных для классических диффузионных моделей, за счёт оптимизации непрерывности пути генерации и повышения эффективности.

• Многоэтапная стратегия обучения: возможности модели поэтапно улучшаются через предобучение семантическому выравниванию текста и изображений, совместное обучение на изображениях и видео, а также дообучение под отдельные модальности — на начальном этапе акцент делается на изучение базовых признаков, на позднем — усиливается временная связность и точность деталей.

• Поддержка крупномасштабного набора данных: исследователи собрали крупный датасет из около 36 миллионов видео и 160 миллионов изображений и применили множество методов фильтрации и аугментации данных для повышения их качества.

Преимущества по стоимости и производительности

• Goku+ коммерческая версия: как базовая модель, ориентированная на видеорекламу, её стоимость генерации составляет лишь 1/100 от стоимости традиционной съёмки, при этом поддерживается индивидуальная настройка (например, интеграция логотипа бренда, многоязычная озвучка и т. д.).

• SOTA-производительность: в бенчмарках MSR-VTT и UCF-101 модель установила новые отраслевые рекорды в задачах генерации видео по тексту, опережая аналоги более чем на 20% по согласованности видео и семантическому соответствию.

Как пользоваться Goku:

Выбор модели и развёртывание

• Предлагаются модели трёх масштабов: облегчённая (для мобильных устройств), стандартная (универсальные сценарии) и корпоративная (поддержка разрешения 4K и генерации длинных видео).

• Поддерживается вызов через облачное API и локальное развёртывание; корпоративные пользователи могут подключиться через платформу Volcengine от ByteDance.

Входные данные и конфигурация параметров

• Формат ввода: текстовая подсказка должна следовать структурированному описанию (например, «объект — действие — сцена — стиль»); на вход для изображений поддерживаются форматы PNG/JPG, в том числе с прозрачным фоном.

• Параметры управления: включают длительность видео (по умолчанию 5 секунд, с возможностью увеличения до 60 секунд), частоту кадров (24/30/60 fps), разрешение (до 4096×2160) и стилистические фильтры (например, «реализм», «мультипликационный рендеринг»).

Интерактивное редактирование

• Поддерживается покадровая доработка после генерации — например, изменение отдельных движений, замена элементов фона или добавление эффектов с помощью текстовых команд (например, «добавить эффект дождевых капель»).

Применение Goku в продуктах:

Электронная коммерция и рекламный маркетинг

• Динамическая презентация товаров: достаточно одного изображения продукта, чтобы сгенерировать рекламное видео с виртуальным ведущим и демонстрацией с разных ракурсов — для карточек товаров на Taobao, Douyin и других платформах.

• Недорогая локализованная реклама: быстрая генерация рекламного контента, адаптированного под язык и культурные особенности конкретных регионов, что значительно снижает затраты на международный маркетинг.

Создание контента для социальных сетей

• Генерация видео с обзорами еды / обучающих видео: на основе списка ингредиентов и описания шагов автоматически создаётся видео процесса приготовления, с возможностью добавления интерактивных субтитров и фоновой музыки.

• UGC-вспомогательные инструменты: для авторов предоставляется функция «текст в видео», автоматически преобразующая текстово-графический контент в короткие видеоролики и повышающая эффективность производства контента.

Предпродакшн в кино и играх

• Предварительный показ раскадровки: быстрая генерация сюжетных раскадровок по тексту, помогающая режиссёрам и сценаристам визуализировать ритм повествования.

• Формирование библиотеки действий NPC: пакетная генерация движений персонажей для игровой разработки, сокращающая объём ручного моделирования.

Выход Goku знаменует переход AI-генерации видео от «вспомогательного инструмента» к «промышленному применению». Низкая стоимость уже привлекла к пилотным проектам ряд международных FMCG-брендов; по оценкам, это позволяет сократить цикл производства рекламы на 80%. В дальнейшем, в сочетании с технологиями рендеринга в реальном времени и 3D-моделирования, Goku потенциально сможет расширить применение на сценарии виртуальной реальности и метавселенной. Текущие технические ограничения в основном связаны с управлением сюжетной логикой в длинных видео, однако команда разработчиков заявляет, что продолжит оптимизацию за счёт внедрения механизмов обучения с подкреплением.

GitHub: https://github.com/Saiyan-World/goku

Адрес проекта: https://saiyan-world.github.io/goku/

Статья: https://arxiv.org/abs/2502.04896