Помощник сценариста▸ 
AI Приложения 
AI Новости 
VIMI: управляемая модель генерации видео с персонажами
VIMI: управляемая модель генерации видео с персонажамиОписание
VIMI большая модель — первый в мире управляемый продукт для генерации видео с персонажами на основе ИИ AIGC, выпущенный компанией SenseTime. VIMI большая модель основана на технологии большой модели SenseTime «Riri Xin». Она может управлять изображениями персонажей с помощью различных управляющих элементов, таких как видео с движениями, анимация, звук и текст, при этом качество изображения не снижается и не искажается со временем, что позволяет генерировать видео с персонажами, соответствующее целевым движениям. Помимо управляемости, Vimi также преодолевает ограничения других больших моделей ИИ для генерации видео в части стабильности генерации персонажей и длительности генерируемого видео, и способна стабильно генерировать однонаправленные видео с персонажами длительностью до минуты.
Большая модель VIMI не только обеспечивает точный контроль выражений лица персонажа, но и управляет естественными движениями верхней части тела человека на фотографии, автоматически генерируя соответствующие изменения волос, одежды и фона. При этом изменения освещения также генерируются корректно, обеспечивая плавность и естественность движений персонажа и визуальных эффектов, делая изображение гармоничным и эстетичным. Это стабильный продукт для управляемой генерации видео с персонажами.
Функциональные особенности большой модели VIMI:
Управляемые персонажи: VIMI способен точно контролировать выражения лица и движения тела персонажей в видео, генерируя видеоконтент, высоко согласующийся с целевыми движениями. Будь то тонкие изменения мимики или сложные движения всего тела, VIMI может точно фиксировать и воспроизводить их.
Разнообразные способы управления: VIMI предоставляет разнообразные входные данные для управления, включая видео с персонажами, параметры анимации, голос и текст. Это позволяет пользователям использовать различные методы ввода для управления генерацией видео, создавая более богатый и разнообразный видеоконтент.
Однонаправленное видео длительностью в минуту: поддержка генерации однонаправленного видео с персонажами длительностью до минуты.
Разумная генерация видеосцен: VIMI уделяет внимание не только самим персонажам, но и способен генерировать разумные видеосцены, включая дополнение таких элементов, как волосы персонажей, одежда и фон, а также поддержку изменений освещения. Благодаря этому видео, созданные VIMI, не только естественно передают персонажей, но и обеспечивают гармоничность всей сцены.
Стабильная генерация длинных видео: VIMI способен генерировать однонаправленное видео с персонажами длительностью до одной минуты, при этом качество изображения остаётся стабильным и не ухудшается и не искажается со временем. Это значительный прорыв.
Сценарии применения большой модели VIMI:
VIMI в основном ориентирована на конечных пользователей (C-end) и подходит для различных развлекательных и интерактивных сценариев, таких как общение, пение и танцы.
Развлекательный контент: удовлетворение потребностей широкого круга пользователей в развлекательном творчестве, например, создание цифровых аватаров, видеороликов с фотографиями и различных забавных эмодзи с персонажами.
Кинопроизводство: предоставление высококачественного видеоматериала с персонажами для кинопроизведений, сокращение затрат и времени на производство.
Создание анимации: поддержка аниматоров в использовании скелетной анимации для генерации движений, повышение эффективности производства анимации.
Большая модель Vimi была представлена на Всемирной конференции по искусственному интеллекту (WAIC) 2024 года и была удостоена высшей награды выставки — «Сокровище музея». Большая модель Vimi способна генерировать однонаправленное видео с персонажами длительностью более 1 минуты, при этом качество изображения не снижается и не искажается со временем. Кроме того, она может подстраивать окружающую сцену под движения персонажа, имитировать изменения угла камеры и покачивание волос, обеспечивая реалистичный визуальный эффект.
Vimi будет полностью открыта для широкого круга пользователей. Пользователям достаточно загрузить высококачественные фотографии персонажа, сделанные с разных ракурсов, и система автоматически создаст цифровой аватар и короткометражные видеоролики в различных стилях. Для пользователей, любящих селфи, Vimi поддерживает различные развлекательные и интерактивные сценарии, такие как общение, пение и танцы.
