ToonCrafter: automatische Erzeugung von Übergangsframes für Cartoon-Animation 221

ToonCrafter generiert automatisch Übergangsframes für Cartoon-Animationen und färbt Animationsskizzen automatisch auf Basis von Referenzbildern ein. Durch generative Interpolationsmethoden erzeugt ToonCrafter natürliche, kohärente Zwischenframes zwischen den Animationsframes. Es kann komplexe nichtlineare Bewegungen und Verdeckungsprobleme verarbeiten und sorgt so für flüssigere und natürlichere Animationsübergänge. Darüber hinaus kann es Skizzen basierend auf Referenzbildern einfärben.

Du musst lediglich ein oder zwei Referenzbilder bereitstellen, und das System färbt die eingegebene Skizze entsprechend den Farben und dem Stil der Referenzbilder ein.

ToonCrafter kann sich an verschiedene Animationsstile anpassen – egal ob es sich um einfache Strichanimationen oder komplexe Cartoon-Szenen handelt, ToonCrafter bewältigt alles mühelos.

ToonCrafter ist ein Tool, das gemeinsam von der Chinese University of Hong Kong, der City University of Hong Kong und dem KI-Labor von Tencent entwickelt wurde. Es soll Animatoren dabei helfen, Übergangseffekte in Cartoon-Animationen effizienter zu erzeugen und zu optimieren. Durch den Einsatz generativer Modelle und Interpolationstechniken löst dieses Tool das Problem unnatürlicher Übergänge zwischen den Frames in Cartoon-Animationen und verbessert so die Effizienz und Qualität der Animationsproduktion.

Funktionen von ToonCrafter:

Generative Cartoon-Interpolation: ToonCrafter verwendet generative Interpolationsmethoden, um natürliche, kohärente Zwischenframes zwischen den Cartoon-Animationsframes zu erzeugen. Diese Methode kann komplexe nichtlineare Bewegungen und Verdeckungsprobleme verarbeiten und sorgt so für flüssigere und natürlichere Animationsübergänge. Unabhängig davon, ob der Animationsstil einfach oder komplex ist, kann sich ToonCrafter anpassen.

Ein Beispiel verdeutlicht, wie ToonCrafter bei der Erstellung einer Laufanimation die Zwischenframes zwischen jedem Schritt einer Figur generiert, sodass die Laufbewegung kohärent und realistisch wirkt.

Skizzengesteuerte Interpolation: ToonCrafter unterstützt Benutzer auch dabei, den Interpolationsprozess durch Skizzen zu steuern. Benutzer können spärliche Skizzeneingaben bereitstellen, und das System generiert basierend auf diesen Skizzen Zwischenframes, die den Erwartungen des Benutzers entsprechen. Auf diese Weise können Benutzer die Animationsübergänge detailliert steuern, was die Genauigkeit und Individualität der Interpolationsergebnisse verbessert.

Ein Beispiel verdeutlicht, dass der Benutzer bei der Erstellung einer Wink-Animation nur die Start- und Endbewegung skizzieren muss und ToonCrafter den dazwischen liegenden Winkvorgang generiert.

Projektadresse von ToonCrafter:https://huggingface.co/spaces/Doubiiu/tooncrafter

ToonCrafter Github:https://github.com/ToonCrafter/ToonCrafter