Motionshop: ersetzt Figuren in Videos durch 3D-Avatare 117

Motionshop, ein KI-Tool zur Charakteranimation, nutzt fortschrittliche Videoverarbeitungs- und 3D-Rendering-Technologie. Motionshop kann automatisch Personen in Videos erkennen und sie durch 3D-Cartoon-Charaktermodelle ersetzen, um unterhaltsame KI-Videos zu erzeugen. Dabei werden andere Szenen und Personen im Video nicht verändert. Die ersetzten 3D-Charaktere können die Bewegungen der Personen im Originalvideo vollständig nachahmen, sodass die Bewegungen konsistent bleiben.

Motionshop-Projektseite:https://aigc3d.github.io/motionshop/

Technische Funktionsweise von Motionshop:

1. Videoverarbeitung und Hintergrundextraktion: Mithilfe von Videoverarbeitungstechnologie werden Personen aus dem Originalvideo getrennt, sodass nur der leere Hintergrund übrig bleibt. Dieser Schritt erfordert komplexe Bildanalyse und -verarbeitung, um die Vollständigkeit und Kohärenz des Hintergrunds sicherzustellen.

Charaktererkennung: Motionshop verwendet ein Transformer-basiertes Framework, das Textinformationen eng mit bestehenden Closed-Set-Detektoren verknüpft, um Zero-Shot-Objekterkennung zu ermöglichen.

Segmentierung und Tracking: Nach erfolgreicher Erkennung des Ziels werden pixelgenaue Zielbereiche durch Video-Objektsegmentierungs- und Tracking-Methoden verfolgt.

Inpainting: Die verbleibenden Bildbereiche im Video werden durch Video-Inpainting-Techniken vervollständigt, einschließlich rekursiver Flussvervollständigung sowie Dual-Domain-Propagation im Bild- und Merkmalsbereich.

2. Posenschätzung: In diesem Schritt werden Techniken zur Posenschätzung verwendet, um die Bewegungen der Personen im Video zu analysieren. Dabei werden menschliche Bewegungen erfasst und analysiert. Die CVFFS-Methode schätzt stabile menschliche Posen, und das SMPL-Körpermodell wird verwendet, um den 3D-Menschenkörper darzustellen.

3. Erzeugung von 3D-Cartoon-Charakteranimationen: Basierend auf den geschätzten Posen und Bewegungen werden entsprechende 3D-animierte Charaktere erzeugt. Dieser Prozess stellt sicher, dass die Bewegungen des 3D-Modells mit den Bewegungen der Personen im Originalvideo übereinstimmen.

4. Lichtschätzung: Damit sich das 3D-Modell natürlicher in den Originalvideohintergrund einfügt, müssen die Lichtverhältnisse im Video geschätzt und das 3D-Modell entsprechend beleuchtet werden.

5. Hochleistungs-Rendering: Motionshop verwendet Hochleistungs-Raytracing-Renderer wie TIDE, um 3D-Cartoon-Charaktermodelle zu rendern und so hohen Realismus sowie visuelle Qualität zu gewährleisten.

6. Videokomposition: Abschließend compositiert Motionshop die gerenderten 3D-Cartoon-Charaktere zurück in das Video mit dem leeren Hintergrund und erzeugt so das endgültige Videoergebnis.

Wie man Motionshop verwendet:

Laden Sie ein Video hoch. Die KI erkennt automatisch die sich bewegenden Hauptpersonen im Video und ersetzt sie mit einem Klick durch unterhaltsame 3D-Charaktermodelle, um einzigartige KI-Videos zu erzeugen.

Schritt 1: Laden Sie ein Video hoch, das eine Person enthält (stellen Sie sicher, dass die Person vollständig sichtbar ist und das Video nicht länger als 15 Sekunden ist).

Schritt 2: Wählen Sie die Person im Video aus, die ersetzt werden soll (automatische Auswahl).

Schritt 3: Wählen Sie das gewünschte virtuelle Charaktermodell aus und klicken Sie auf „Generieren". Warten Sie etwa 10 Minuten, bis das Ergebnis erzeugt wurde.

Motionshop kann im Grunde Wonder Studio ersetzen. Wonder Studio kann automatisch Personen in realen Szenen in CG-Charaktere umwandeln und ersetzen und ermöglicht zudem Animation, Beleuchtung und Compositing.