ByteDance OmniHuman-Modell im internen Test bei Jimeng 201

字节跳动 hat das OmniHuman-Modell veröffentlicht, das sich derzeit im internen Beta-Test auf 即梦AI befindet. Dieses Modell verwendet eine neuartige multimodale Video-Generierungstechnologie. Benutzer müssen lediglich ein Bild und eine Audioaufnahme eingeben, um äußerst realistische Videoanimationen einer Person zu erzeugen – von Gesichtsausdrücken bis hin zu Ganzkörperbewegungen, sei es beim Sprechen, Singen oder Tanzen.

Hauptfunktionen des OmniHuman-Modells:

• Video-Generierung: Es kann ein einzelnes eingegebenes Foto in ein realistisches Ganzkörper-Video mit Bewegung umwandeln und ermöglicht es digitalen Personen, verschiedene natürliche Bewegungen wie Sprechen und Singen darzustellen.

• Multimodale Eingabe: Es unterstützt gleichzeitig Bilder verschiedener Größen wie Porträts, Halb- und Ganzkörperaufnahmen in Kombination mit Audioinhalten. Die Datentrainingsergebnisse sind gut und es können hochwertige animierte Videos erzeugt werden.

Das OmniHuman-Modell unterstützt nicht nur die Erzeugung von Porträt- und Ganzkörpervideos, sondern liefert auch bei unterschiedlichen Bildtypen wie Anime und 3D-Cartoon-Bildern, also nicht-fotorealistischen Eingaben, zufriedenstellende Ergebnisse. Die zuständige Person von 即梦 ai erklärte, dass OmniHuman zwar bereits gute Ergebnisse zeige, es aber noch Raum für Verbesserungen bei der Erzeugung von Videos auf Film- und Fernsehniveau gibt. OmniHuman wird schrittweise für die Nutzung freigegeben, befindet sich derzeit in einem kleinen internen Beta-Test und verfügt über strenge Sicherheitsüberprüfungsmechanismen.

Wo finde ich OmniHuman?

Melde dich bei 即梦AI an und wähle in der linken Seitenleiste die Video-Generierung aus.

Ich bewerbe mich gerade für den internen Beta-Test... Einige Benutzer sagen, dass die Lippensynchronisation nicht besonders gut ist, andere wiederum finden sie großartig.