Xunguang: KI-Videoerstellungsplattform von Alibaba DAMO Academy 133

Xunguang ist eine All-in-One-KI-Video-Erstellungsplattform von Alibabas DAMO Academy. Xunguang wurde 2024 auf der World AI Conference (WAIC) in Shanghai erstmals vorgestellt und erregte große Aufmerksamkeit. Das Ziel von Xunguang ist es, den Videobearbeitungsprozess so einfach zu gestalten wie die Bedienung einer ppt, sodass auch nicht professionelle Anwender effizient hochwertige Videoinhalte erstellen können.

Xunguang hilft Benutzern, traditionell in verschiedene Produktionsprozesse verteilte Schritte wie Drehbucherstellung, Storyboard-Design und Videomaterialbearbeitung auf einer einzigen Plattform durchzuführen und unterstützt die Benutzer bei der Erstellung von Drehbüchern, Storyboards usw.

Xunguang unterstützt umfangreiche KI-Bearbeitung von generierten und hochgeladenen Materialien, mit über 10 Funktionen wie Personensteuerung, Szenensteuerung, Kamerabewegungssteuerung, Hinzufügen/Entfernen/Ändern von Objekten und mehr. Darüber hinaus legt die Plattform den Interaktionsschwerpunkt auf „Videobearbeitung so einfach wie das Bedienen einer PPT-Datei“ und bietet eine schichtbasierte Videobearbeitungsfunktion sowie eine Funktion zum Zerlegen von Ebenen.

Offizielle Website von Xunguang:https://xunguang.damo-vision.com/

Kernfunktionen von Xunguang:

• All-in-One-Service: Die Xunguang-Plattform integriert alle Aspekte der Videoproduktion, einschließlich Drehbucherstellung, Storyboard-Design und Materialbearbeitung, sodass Ersteller den gesamten Videoerstellungsprozess auf einer Plattform abschließen können, ohne zwischen mehreren Tools wechseln zu müssen.

• KI-Bearbeitungsfunktionen: Die Plattform bietet präzise Bearbeitungswerkzeuge, die es Benutzern ermöglichen, auf semantischer Ebene zu bearbeiten, z. B. die Steuerung von Videoinhalten über Textbefehle, um intelligente Steuerung von Charakteren, Szenen, Kamerabewegungen usw. zu ermöglichen. Benutzer können einfach den Kamerawinkel anpassen, Zielobjekte entfernen oder ändern und sogar präzise Bewegungen von Gesichtern steuern.

• Schichtbasierte Videobearbeitung: Die Innovation von Xunguang liegt in der schichtbasierten Videobearbeitungsfunktion. Benutzer können bestimmte Objekte wie Personen oder Gegenstände im Video einfach extrahieren und bearbeiten. Diese Objekte verfügen über einen transparenten Hintergrund, was die Integration in andere Hintergründe erleichtert. Selbst komplexe Details wie wehende Haare können präzise verarbeitet werden. Sowohl KI-generiertes als auch real aufgenommenes Material kann mit verschiedenen Videobearbeitungsfunktionen modifiziert werden, und es gibt Funktionen zum Zerlegen und Verschmelzen von Ebenen, um Ihre Videoinhalte individuell anzupassen.

• Stiltransfer und Kamerabewegungssteuerung: Die Plattform unterstützt über 20 Stiltransferoptionen, die den Stilwechsel von Videos einfach machen. Gleichzeitig werden verschiedene Kamerabewegungseffekte wie Schwenken, Heranzoomen/Wegzoomen, Umrunden usw. bereitgestellt, um die visuellen Effekte des Videos zu verstärken.

• Drehbuch- und Storyboard-Unterstützung: Xunguang vereinfacht nicht nur die Nachbearbeitung, sondern unterstützt Benutzer auch bei der Erstellung von Drehbüchern und Storyboards in der Vorproduktionsphase, was die Effizienz und den kreativen Spielraum der Videoerstellung erheblich steigert.

• Storyboard mit einem Klick erstellen: Vom Drehbuch zum Storyboard – Xunguang lässt die KI Ihre Regiearbeit unterstützen. Sie müssen sich nichts mehr vorstellen, die Bilder entstehen wie von selbst und lassen gute Geschichten sofort lebendig werden.

• Personalisieren Sie Ihre Story-Charaktere: Wer kann in Ihrer Geschichte die Hauptrolle spielen und schauspielerisch glänzen? Jetzt können Sie dies von Xunguang individuell für Sie anfertigen lassen. Ihre Darsteller bestimmen Sie.

• Visuelle Materialien frei erstellen: Lassen Sie Xunguang jetzt nach Ihren Wünschen konsistente Charakter- und Szenenbilder generieren, und nutzen Sie dann die Kamerabewegungssteuerung und Bewegungsbearbeitung, um Ihren persönlichen Blockbuster zu kreieren.

Anforderungen für die Beta-Bewerbung der DAMO Academy Xunguang Video-Erstellungsplattform:

• Allgemeine Benutzer, UGC-Gruppe, vertreten durch gewöhnliche Enthusiasten

• Semiprofessionelle Benutzer, PUGC-Gruppe, vertreten durch selbstständige Medienproduzenten oder kleine Studios

• Professionelle Benutzer, PGC-Gruppe, die standardisierte Arbeitsabläufe verwenden und kommerzielle Teamarbeit leisten

Xunguang wird vom Visual Technology Lab der DAMO Academy entwickelt. Das Visual Technology Lab der DAMO Academy widmet sich der Forschung zu Verstehens- und Generierungstechnologien für multimodale visuelle Signale. Zu den aktuellen Schwerpunkten gehören genauere Bild-/Video-/3D-Inhaltsgenerierung, kontrollierbarere Bild-/Video-/3D-Inhaltsbearbeitung, effizientere Generierungs-Frameworks, multimodale retrieval-erweiterte Generierung sowie einheitliche multimodale Verstehens-Generierungs-Frameworks usw.

Offizielle Website von Xunguang:https://xunguang.damo-vision.com/