Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten ByteDance-Videogenerierungsmodelle PixelDance und Seaweed sind jetzt auf Jimeng AI live
ByteDance-Videogenerierungsmodelle PixelDance und Seaweed sind jetzt auf Jimeng AI live
Am 15. November 2024 wurden die beiden Videogenerierungsmodelle PixelDance und Seaweed von ByteDance offiziell auf der Plattform Jimeng AI veröffentlicht. Derzeit werden diese beiden Modelle sowohl in der Webversion als auch in der mobilen App unterstützt und stehen der Öffentlichkeit kostenlos zur Verfügung. Nutzer können diese Funktion über „Videogenerierung" von Jimeng ai erleben.
Das Modell PixelDance unterstützt Text-zu-Video und Bild-zu-Video und kann hochwertige Videoclips von bis zu 10 Sekunden Länge erzeugen. Die Bewegungen der Personen sind nahezu fotorealistisch und übertreffen die Grenzen des Sora-Modells von OpenAI bei der Darstellung komplexer Bewegungen. Das Modell Seaweed zeigt hingegen eine gute Konsistenz des ersten Frames in Bild-zu-Video-Szenarien und kann die Übereinstimmung mit dem vom Nutzer eingegebenen Bild aufrechterhalten. Gleichzeitig verfügt es über eine hohe Generierungseffizienz: Es benötigt nur 60 Sekunden, um ein 5 Sekunden langes Video in hoher Qualität zu erzeugen, und übertrifft damit den Branchenstandard in China von 3–5 Minuten bei Weitem.
Modellfunktionen
Funktionen von PixelDance: Kann magieähnliche Effekte erzeugen und eignet sich für den Einsatz von Techniken wie zeitlich abgestimmten Prompts und langen Einstellungen.
Funktionen von Seaweed: Zeigt eine gute Konsistenz des ersten Frames in Bild-zu-Video-Szenarien und bewahrt die Übereinstimmung mit dem vom Nutzer eingegebenen Bild sowie die Wiedergabe von Details wie Farben.
Kameraschnitte: Bei der Erzeugung von 10-Sekunden-Videos erzielt PixelDance die beste Wirkung mit 3–5 Kameraschnitten, wobei Szenen und Charaktere eine sehr gute Konsistenz beibehalten.
Visuelle Effekte: Das Modell Seaweed ermöglicht flüssige und natürlich wirkende Bewegtbilder mit großer Bewegungsamplitude und vermittelt ein realistisches Gefühl.
Prompt-Beschreibungen: Durch kleinere, schrittweise Prompt-Beschreibungen kann PixelDance magieähnliche Effekte erzeugen.
Anwendungsszenarien
Designbereich: Die beiden Modelle können im Designbereich eingesetzt werden, um Kreatoren dabei zu helfen, kreativere Designwerke zu realisieren.
Film- und Fernsehproduktion: In der Film- und Fernsehproduktion können diese Modelle zur Erzeugung von Spezialeffekten und komplexen Szenen verwendet werden.
Animationserstellung: Die Modelle unterstützen die Animationserstellung und können flüssige, natürlich wirkende Animationseffekte erzeugen.
Professionelle Kreation: Nach der Erprobung in Anwendungsszenarien wie Jianying und Jimeng AI bedienen die Modelle professionelle Kreatoren und Künstler besser.
Geschichtenerzählen: Die auf der Plattform Jimeng AI bereitgestellten Funktionen unterstützen das Geschichtenerzählen und steigern die Kreationseffizienz.
Die Veröffentlichung dieser beiden Modelle, insbesondere PixelDance, zeigt die Reife von ByteDance in der Videogenerierungstechnologie – insbesondere in den Bereichen semantisches Verständnis, Verarbeitung von Personenbewegungen und Konsistenz bei mehreren Kameraschnitten wurde ein branchenführendes Niveau erreicht.
