Помощник сценариста▸ 
AI Приложения 
AI Новости 
UniVG: модель генерации видео от Baidu
UniVG: модель генерации видео от BaiduОписание
Baidu UniVG — это унифицированная модель aiвидеогенерации, способная принимать на вход произвольные комбинации текста и изображений в качестве условий для генерации видео. Система UniVG разработана командой Baidu и решает ограничения существующих моделей генерации видео, которые могут работать только с одной задачей или одной целью.
Адрес открытого исходного кода UniVG:https://univg-baidu.github.io/
Основные функции и особенности UniVG:
Генерация видео с высокой степенью свободы: использование механизма перекрёстного внимания с несколькими условиями позволяет генерировать видео, семантически согласующееся с входными изображениями или текстом.
Генерация видео с низкой степенью свободы: введение смещённого гауссовского шума вместо полностью случайного гауссовского шума для лучшего сохранения содержимого входных условий.
Многозадачность: модели генерации видео в системе перегруппированы в две категории — генерация с высокой степенью свободы и генерация с низкой степенью свободы, каждая из которых подходит для различных задач генерации.
Диффузионная модель: метод генерации видео на основе диффузии, который добился значительных успехов в академических и промышленных кругах.
Сценарии применения и преимущества UniVG:
Гибкий ввод: пользователи могут гибко вводить условия в виде изображений и текста, по отдельности или в комбинации, удовлетворяя потребности реальных сценариев применения.
Высококачественный результат: достигнут наименьший показатель FVD (Fréchet Video Distance) на базе данных MSR-VTT, в оценках людей превосходит текущие методы с открытым исходным кодом и сопоставим с существующим закрытым методом Gen2.
Многообразие задач:
Поддерживает множество задач генерации видео, включая преобразование текста в видео, изображения в видео, а также комбинации текста и изображения в видео.
UniVG как мощный инструмент способствует развитию технологии генерации видео в более гибком и качественном направлении за счёт интеграции текстового и графического ввода, предоставляя новые идеи для продвижения в таких областях, как создание контента, реклама и развлечения.
