AnchorCrafter: herramienta de IA para vídeos de comercio con presentadores virtuales del Instituto de Computación de la Academia China de Ciencias y Tencent 120

AnchorCrafter es una herramienta estrella para transmisiones de ventas con presentadores virtuales de IA, creada conjuntamente por la Academia China de Ciencias y Tencent. Aprovecha tecnología avanzada de IA para generar vídeos de ventas naturales y fluidos, mejorando enormemente la calidad y la eficiencia de la producción de vídeo para comercio electrónico.

¿Qué es AnchorCrafter?

AnchorCrafter es un sistema basado en difusión que crea automáticamente vídeos promocionales de productos con presentador de alta fidelidad, al integrar la Interacción Humano-Objeto (Human-Object Interaction, HOI) en la generación de vídeos humanos guiada por poses.

Aspectos técnicos destacados de AnchorCrafter:

• Modelado de la interacción humano-objeto: AnchorCrafter no solo impulsa a los modelos virtuales para mostrar productos, sino que también captura y controla con precisión los detalles de la interacción entre la persona y el producto, como el contacto de la mano con el artículo, generando contenidos de vídeo más naturales y realistas.

• Calidad visual de alto nivel: mediante la tecnología HOI-appearance perception, el sistema fusiona características de imágenes del producto desde múltiples perspectivas, garantizando que los detalles de apariencia del producto se reproduzcan con precisión en el vídeo. Además, utiliza una arquitectura de red desacoplada para distinguir y optimizar la apariencia de la persona y del objeto, mejorando la fidelidad visual.

• Uso eficiente de los datos de entrenamiento: a pesar de que el conjunto de datos de entrenamiento es relativamente pequeño (44 vídeos de internet y 307 vídeos grabados por el equipo), AnchorCrafter logra resultados satisfactorios con recursos limitados (como 4 GPU A100, 40 000 pasos de entrenamiento y 6 fotogramas por secuencia) gracias a una estrategia de entrenamiento eficiente, lo que demuestra la eficacia y robustez de su algoritmo.

• Pérdida con reponderación de regiones HOI: para reforzar el aprendizaje del modelo sobre la interacción mano-objeto, el sistema adopta una función de pérdida específica que pondera con mayor peso las pérdidas en las zonas de la mano y el objeto, asegurando la precisión y naturalidad de la interacción.

Principios técnicos de AnchorCrafter

• Modelo de difusión de vídeo: utiliza un Unet de difusión y un autoencoder variacional (VAE) para procesar los fotogramas del vídeo, codificando la secuencia de vídeo en un espacio latente para generar resultados de alta calidad.

• Percepción de apariencia HOI: logra el control de apariencia extrayendo las características visuales de la persona y del objeto e integrándolas en la red troncal, empleando imágenes de referencia del objeto desde múltiples perspectivas para reforzar su reconocimiento.

• Inyección de movimiento HOI: controla el movimiento del objeto inyectando secuencias de movimiento humano y resuelve los problemas de condicionamiento de la trayectoria y gestión de oclusiones del objeto, utilizando mapas de profundidad como entrada para mantener la claridad y la coherencia del movimiento.

• Pérdida con reponderación de regiones HOI: aplica pesos de entrenamiento más altos en las zonas de interacción para reforzar el aprendizaje de los detalles del objeto por parte del modelo, mejorando la calidad y el realismo del vídeo final.

Principales usos de AnchorCrafter

• Producción de vídeo para comercio electrónico: AnchorCrafter puede generar vídeos de ventas naturales y fluidos a partir de las imágenes del personaje y del producto a promocionar proporcionadas por el usuario, ayudando a las empresas de e-commerce a crear fácilmente vídeos de marketing de alta calidad.

• Promoción de productos: fusionando personas y productos, crea vídeos promocionales atractivos que aumentan la competitividad del producto en el mercado.

Ventajas de AnchorCrafter

• Calidad de imagen y naturalidad de movimiento: los vídeos de ventas con presentador virtual generados por AnchorCrafter alcanzan un nivel líder en el sector en calidad de imagen y naturalidad de movimiento, rivalizando incluso con los presentadores reales.

• Eficiencia: los usuarios solo necesitan proporcionar imágenes simples e información del producto para generar rápidamente vídeos de ventas de alta calidad, ahorrando значительно tiempo y costes.

Pasos para usar AnchorCrafter:

• Preparar el material: proporciona una foto del presentador. Proporciona fotos del producto que deseas mostrar.

• Elegir presentador: selecciona entre numerosos presentadores de internet al que más te guste y "copia" su imagen al mundo virtual mediante tecnología de IA.

• Generar el vídeo: AnchorCrafter generará automáticamente un atractivo vídeo de ventas, incluyendo los movimientos y expresiones del presentador interactuando con el producto.

• Control preciso: diseña todo tipo de acciones interactivas según tus necesidades para que el presentador y el producto se integren a la perfección.

• Exportar el vídeo: una vez generado, exporta el vídeo en alta calidad para usarlo en la promoción en plataformas de comercio electrónico.

AnchorCrafter es especialmente adecuado para plataformas de e-commerce, ya que permite generar rápidamente vídeos de ventas, potenciar el atractivo de la presentación del producto, aumentar el potencial de ventas y, al mismo tiempo, reducir la dependencia de presentadores reales y disminuir los costes de producción.