AnchorCrafter: KI-Tool für virtuelle Streamer-Commerce-Videos, entwickelt vom Institut für Informatik der Chinesischen Akademie der Wissenschaften gemeinsam mit Tencent 126

AnchorCrafter ist ein von der Chinesischen Akademie der Wissenschaften und Tencent gemeinsam entwickeltes KI-Virtual-Streamer-Tool für Produktwerbung. Es nutzt fortschrittliche KI-Technologie, um natürlich fließende Werbe-Videos zu generieren, und verbessert so die Qualität und Effizienz der Erstellung von E-Commerce-Videos erheblich.

Was ist AnchorCrafter?

AnchorCrafter ist ein diffusionsbasiertes System, das durch die Integration von Mensch-Objekt-Interaktionen (Human-Object Interaction, HOI) in die posengesteuerte menschliche Videoerzeugung automatisch hochwertige ankerbasierte Produktwerbevideos erstellt.

Technische Highlights von AnchorCrafter:

• Mensch-Objekt-Interaktionsmodellierung: AnchorCrafter steuert nicht nur virtuelle Models bei der Präsentation von Produkten, sondern erfasst und steuert auch präzise die Interaktionsdetails zwischen Mensch und Produkt, wie z. B. den Kontakt der Hand mit dem Produkt, um natürlichere und realistischere Videoinhalte zu erzeugen.

• Hochwertige visuelle Effekte: Das System integriert mithilfe der HOI-Appearance-Perception-Technologie Merkmale von Produkten aus mehreren Blickwinkeln und stellt sicher, dass die Erscheinungsdetails des Produkts im Video präzise wiedergegeben werden. Gleichzeitig nutzt es eine entkoppelte Netzwerkstruktur, um das Aussehen von Mensch und Objekt zu unterscheiden und zu optimieren, und verbessert so die visuelle Wiedergabetreue.

• Effiziente Nutzung der Trainingsdaten: Obwohl der Trainingsdatensatz relativ klein ist (44 Web-Videos und 307 selbst aufgenommene Videos), kann AnchorCrafter durch effiziente Trainingsstrategien mit begrenzten Ressourcen (z. B. 4 A100-GPUs, 40.000 Trainingsschritte, 6 Frames pro Frame-Länge) zufriedenstellende Ergebnisse erzielen, was die Effizienz und Robustheit des Algorithmus unterstreicht.

• HOI-Region-Reweighting-Verlust: Um das Lernen der Hand-Objekt-Interaktion im Modell zu verstärken, verwendet das System eine spezielle Verlustfunktion, die die Verluste im Hand- und Objektbereich stärker gewichtet, um die Genauigkeit und Natürlichkeit der Interaktion sicherzustellen.

Technische Prinzipien von AnchorCrafter

• Videodiffusionsmodell: Verwendet Diffusion-Unet und Variational Autoencoder (VAE) zur Verarbeitung von Videoframes, indem die Videosequenz in den latenten Raum kodiert wird, um hochwertige Ergebnisse zu erzeugen.

• HOI-Appearance-Wahrnehmung: Durch die Extraktion von Erscheinungsmerkmalen von Mensch und Objekt und deren Integration in das Backbone-Netzwerk wird die Erscheinungssteuerung erreicht. Dabei werden Referenzbilder des Objekts aus mehreren Blickwinkeln verwendet, um die Erkennungsfähigkeit der Objekterscheinung zu verbessern.

• HOI-Bewegungsinjektion: Durch die Injektion menschlicher Bewegungssequenzen wird die Objektbewegung gesteuert und Probleme der Objektbahn-Bedingung sowie des Verdeckungsmanagements gelöst. Dabei werden Tiefenkarten als Eingabe verwendet, um die Klarheit und Konsistenz der Bewegung zu erhalten.

• HOI-Region-Reweighting-Verlust: Durch die Zuweisung höherer Trainingsgewichte an die Interaktionsbereiche wird das Lernen der Modelle für Objektdetails verstärkt, was die Qualität und Realitätstreue der endgültig erzeugten Videos verbessert.

Hauptanwendungsbereiche von AnchorCrafter

• E-Commerce-Videoerstellung: AnchorCrafter kann basierend auf vom Nutzer bereitgestellten Charakterbildern und zu bewerbenden Produkten natürlich fließende Werbevideos generieren und hilft E-Commerce-Unternehmen, mühelos hochwertige Marketingvideos zu erstellen.

• Produktwerbung: Durch die Verschmelzung von Personen und Produkten werden ansprechende Produktwerbevideos erstellt, die die Wettbewerbsfähigkeit des Produkts auf dem Markt steigern.

Vorteile von AnchorCrafter

• Bildqualität und Bewegungsnatürlichkeit: Die von AnchorCrafter erzeugten Werbevideos virtueller Streamer erreichen eine branchenführende Bildqualität und Bewegungsnatürlichkeit und sind sogar mit echten Streamern vergleichbar.

• Hohe Effizienz: Nutzer müssen lediglich einfache Bilder und Produktinformationen bereitstellen, um schnell hochwertige Werbevideos zu erzeugen, was erheblich Zeit und Kosten spart.

Nutzungsschritte von AnchorCrafter:

• Materialien vorbereiten: Stellen Sie ein Foto des Streamers bereit. Stellen Sie Fotos des Produkts bereit, das Sie präsentieren möchten.

• Streamer auswählen: Wählen Sie aus einer Vielzahl von Netzwerk-Streamern Ihren Favoriten aus und „kopieren“ Sie dessen Erscheinungsbild mithilfe von KI-Technologie in die virtuelle Welt.

• Video generieren: AnchorCrafter erstellt automatisch ein ansprechendes Werbevideo, einschließlich der Bewegungen und Mimik des Streamers sowie der Interaktion mit dem Produkt.

• Präzise Steuerung: Entwerfen Sie je nach Bedarf verschiedene Interaktionsbewegungen, um eine nahtlose Verschmelzung von Streamer und Produkt zu erreichen.

• Video exportieren: Nach Abschluss der Erstellung exportieren Sie das hochwertige Video für die Nutzung auf E-Commerce-Plattformen.

AnchorCrafter eignet sich besonders für E-Commerce-Plattformen und kann schnell Werbevideos generieren, die Produktpräsentation attraktiver gestalten, das Verkaufspotenzial steigern und gleichzeitig die Abhängigkeit von echten Streamern verringern sowie die Produktionskosten senken.