AnchorCrafter: AI-инструмент для создания виртуальных стримеров от Института вычислительных технологий КАН и Tencent 122

AnchorCrafter — это созданный совместно Китайской академией наук и компанией Tencent инструмент-убийца для прямых трансляций с виртуальными ведущими на базе ИИ. Он использует передовые технологии ИИ для создания естественных и плавных рекламных видеороликов, что значительно повышает качество и эффективность производства видеоконтента для электронной коммерции.

Что такое AnchorCrafter?

AnchorCrafter — это система на основе диффузии, которая автоматически создаёт высококачественные рекламные видеоролики с привязкой к продукту, интегрируя взаимодействие человека с объектом (Human-Object Interaction, HOI) в генерацию видео с управлением через позы человека.

Технические особенности AnchorCrafter:

• Моделирование взаимодействия человека и объекта: AnchorCrafter не только управляет виртуальной моделью для демонстрации товара, но и точно фиксирует и контролирует детали взаимодействия между человеком и товаром, такие как контакт рук с товаром, что позволяет генерировать более естественный и реалистичный видеоконтент.

• Высококачественные визуальные эффекты: благодаря технологии восприятия внешнего вида HOI система объединяет признаки изображений товара с разных ракурсов, что обеспечивает точное воспроизведение деталей внешнего вида товара в видео. Одновременно используется разделённая сетевая архитектура для различения и оптимизации внешности человека и объекта, что повышает визуальную достоверность.

Тренировочные данные

• Несмотря на относительно небольшой набор обучающих данных (44 видео из сети и 307 собственных видео), AnchorCrafter за счёт эффективной стратегии обучения способен при ограниченных ресурсах (например, 4 GPU A100, 40 000 шагов обучения, длина 6 кадров на кадр) достигать удовлетворительных результатов, что демонстрирует эффективность и устойчивость алгоритма.

• Перевзвешенные потери для области HOI: для усиления обучения модели взаимодействию руки и объекта в системе применяется специальная функция потерь, которая усиливает вес потерь в областях руки и объекта, обеспечивая точность и естественность интерактивной части.

Технические принципы AnchorCrafter

• Модель диффузии видео: используются Unet-диффузия и вариационный автокодировщик (VAE) для обработки видеокадров: видеопоследовательность кодируется в скрытое пространство для генерации высококачественного результата.

• Восприятие внешнего вида HOI: управление внешним видом осуществляется путём извлечения признаков внешности человека и объекта и интеграции их в основную сеть; для улучшения распознавания внешнего вида объекта используются многоракурсные эталонные изображения объекта.

• Внедрение движения HOI: движение объекта управляется путём внедрения последовательностей движения человека, а также решаются задачи задания траектории объекта и управления окклюзией; в качестве входных данных используется карта глубины, что сохраняет чёткость и согласованность движения.

• Перевзвешенные потери для области HOI: за счёт назначения более высоких весов обучения областям взаимодействия усиливается обучение модели деталям объекта и повышается качество и реалистичность итогового видео.

Основные области применения AnchorCrafter

• Создание видео для электронной коммерции: AnchorCrafter способен генерировать естественные и плавные рекламные видеоролики на основе предоставленных пользователем изображений персонажа и продвигаемого товара, помогая компаниям электронной коммерции легко создавать качественные маркетинговые видео.

• Продвижение товаров: путём объединения персонажа и продукта создаются привлекательные рекламные видеоролики, повышающие конкурентоспособность товара на рынке.

Преимущества AnchorCrafter

• Качество изображения и естественность движений: видеоролики с виртуальными ведущими, созданные AnchorCrafter, достигают передового уровня в отрасли по качеству изображения и естественности движений и могут соперничать даже с видеороликами реальных ведущих.

• Эффективность: пользователю достаточно предоставить простые изображения и информацию о товаре, чтобы быстро получить качественный рекламный видеоролик, что существенно экономит время и средства.

Этапы работы с AnchorCrafter:

• Подготовка материалов: предоставьте одну фотографию ведущего. Предоставьте фотографии товара, который необходимо продемонстрировать.

• Выбор ведущего: выберите из множества сетевых ведущих того, который вам больше всего нравится, и с помощью технологии ИИ «перенесите» его образ в виртуальный мир.

• Генерация видео: AnchorCrafter автоматически создаст великолепный рекламный видеоролик, включая взаимодействие движений, мимики ведущего и товара.

• Точное управление: в зависимости от ваших потребностей проектируйте разнообразные интерактивные движения, обеспечивая идеальное слияние ведущего и товара.

• Экспорт видео: после завершения генерации экспортируйте высококачественное видео для использования в продвижении на платформах электронной коммерции.

AnchorCrafter особенно подходит для платформ электронной коммерции: он позволяет быстро создавать рекламные видеоролики, усиливая привлекательность презентации товаров и повышая потенциал продаж, одновременно снижая зависимость от реальных ведущих и сокращая расходы на производство.