HunyuanCustom: Ein neues Open-Source-Tool zur multimodalen, individuellen Videoerzeugung von Tencent Hunyuan 57

Was ist HunyuanCustom?

HunyuanCustom ist ein von Tencent Hunyuan veröffentlichtes und als Open Source bereitgestelltes individualisiertes Video-Generierungs-Framework, das auf multimodaler Steuerung basiert. Es kann Videos mit bestimmten Themen generieren und unterstützt dabei verschiedene Eingabebedingungen wie Text, Bild, Audio und Video.

HunyuanCustom Modellarchitektur

• Basiert auf HunyuanVideo: HunyuanCustom wurde auf Grundlage von HunyuanVideo entwickelt und konzentriert sich auf die Generierung von Videos, die mit einem bestimmten Thema konsistent sind.

• Multimodale Fusion: Es wurde ein auf LLaVA basierendes Text-Bild-Fusionsmodul eingeführt, um das Verständnis multimodaler Eingaben zu verbessern. Darüber hinaus wurden spezielle Bedingungsinjektionsmechanismen für Audio und Video entwickelt, um eine Video-Generierung unter multimodalen Bedingungen zu ermöglichen.

Kernfunktionen von HunyuanCustom

• Video-Generierung aus multimodalen Eingaben: Es vereint die Fähigkeit, Videos aus multimodalen Eingaben wie Text, Bild, Audio und Video zu generieren, und bietet dabei ein hohes Maß an Kontrolle und Generierungsqualität.

• Einzelobjekt-Video-Generierung: Der Benutzer muss lediglich ein Bild mit der gewünschten Person oder dem gewünschten Objekt hochladen und eine Textbeschreibung angeben. Das System erkennt die Identitätsinformationen im Bild und generiert kohärente, natürlich wirkende Videoinhalte mit völlig anderen Bewegungen, Kleidungsstücken und Szenen. Beispielsweise kann ein Foto einer Person hochgeladen und „Er geht mit dem Hund spazieren" eingegeben werden, um das entsprechende Video zu erzeugen.

• Mehrpersonen-/Mehrobjekt-Video-Generierung: Der Benutzer stellt ein Foto einer Person und ein Foto eines Objekts bereit und gibt eine Textbeschreibung ein, sodass diese beiden Objekte wie gewünscht im Video erscheinen. Beispielsweise können ein Foto einer Person und ein Foto einer Tüte Chips bereitgestellt und „Ein Mann steht neben einem Swimmingpool und hält eine Tüte Chips in der Hand, um sie zu präsentieren" eingegeben werden, um das entsprechende Video zu erzeugen.

• Audio-Lippensynchronisation für Einzelobjekt-Videos: Im audio-gesteuerten Modus (Einzelobjekt) kann der Benutzer ein Personenbild zusammen mit einer Audioaufnahme hochladen. Das Modell generiert dann eine Szene, in der die Person in beliebigen Umgebungen spricht, singt oder andere audio-visuell synchronisierte Darbietungen ausführt. Dies ist weit verbreitet einsetzbar in Szenarien wie digitalen Avataren für Livestreams, virtuellen Kundendiensten, Bildungsdemos und mehr.

• Lokale Videobearbeitung: Im videogesteuerten Modus wird die natürliche Ersetzung oder Einfügung von Personen oder Objekten aus Bildern in beliebige Videoclips unterstützt, um kreative Platzierungen oder Szenenerweiterungen vorzunehmen und so eine einfache Videorekonstruktion und Inhaltsverbesserung zu ermöglichen.

Technische Vorteile von HunyuanCustom

• Hohe Identitätskonsistenz: Dank branchenführender Modellierungsfähigkeiten für Subjektkonsistenz bleibt die Identität in verschiedenen Szenarien – Einzelobjekt, Nicht-Personen-Objekte, Interaktionen zwischen mehreren Objekten – über das gesamte Video hinweg konsistent und kohärent. Personen „verändern ihr Gesicht" nicht und Objekte „driften" nicht ab.

• Hohe Steuerbarkeit: Es verfügt über eine starke Fähigkeit, Steuersignalen zu folgen, einschließlich solcher aus Text, Referenzobjektbildern und Sprachsignalen, und kann so die vom Benutzer gewünschten Objekte, Szenen und Aktionen zuverlässig generieren.

• Hohe Video-Generierungsgüte: Dank der leistungsstarken Fähigkeiten des Tencent Hunyuan Video-Großmodells erreicht es in Bezug auf die Detailtreue bei Personen, die Bewegungsflüssigkeit und die Realitätsnähe von Licht und Schatten ein branchenführendes Niveau.

Anwendungsszenarien von HunyuanCustom

• Werbeszenarien: Produkt-Hintergründe können schnell ausgetauscht und Models können rasch umgezogen werden.

• E-Commerce- und Kundenservice-Szenarien: Lebendige digitale Avatar-Videos zur Produktvorstellung oder digitale Avatar-Kundenservice-Videos mit bestimmter Kleidung können schnell und kostengünstig erstellt werden.

• Film- und Fernsehszenarien: Schnelle Erstellung von Kurzfilmen und Kurzgeschichten-Videos.

• Bildungs- und Wissenschaftsvermittlungsszenarien: Erklärvideos können audio-gesteuert generiert werden.

Die Einzelobjekt-Generierungsfähigkeit von HunyuanCustom wurde bereits als Open Source veröffentlicht und ist auf der offiziellen Hunyuan-Website verfügbar. Benutzer können sie unter „Modell-Marktplatz - Bild-zu-Video - Referenzbasierte Videogenerierung" ausprobieren. Weitere Funktionen werden im Laufe des Monats Mai schrittweise als Open Source veröffentlicht. Über die folgenden Links können Sie auf die zugehörigen Informationen zugreifen:

• Testzugang: https://hunyuan.tencent.com/modelSquare/home/play?modelId=192

• Projekt-Website: https://hunyuancustom.github.io/

• Quellcode: https://github.com/Tencent/HunyuanCustom

• Technischer Bericht: https://arxiv.org/pdf/2505.04512