Drehbuch-Assistent▸ 
AI Apps 
AI Nachrichten 
ToonComposer：腾讯推出的AI自动上色和生成动画工具
ToonComposer：腾讯推出的AI自动上色和生成动画工具Einführung
ToonComposer ist ein von Tencent vorgestelltes Tool zur Animationserstellung, das die beiden Schritte „Inbetweening" und „Koloration" in der Animationsproduktion zur Phase „Generierung nach Originalbildern" zusammenführt und den Animationsproduktionsprozess vereinfacht.
Funktionsmerkmale von ToonComposer
Mehrere Eingabemethoden zur Animationserstellung: ToonComposer kann Animationen aus Text, Skizzen oder Bildern erzeugen. Gibt man beispielsweise „Eine Katze im Astronautenanzug jagt einen Schmetterling auf dem Mond" ein, wird ein Animationsskript mit mehreren Einstellungen generiert.
Automatische Vervollständigung von Animationsdetails: Basierend auf eingegebenen Schlüsselbild-Skizzen und farbigen Referenzbildern werden automatisch Zwischenbilder ergänzt und koloriert, sodass am Ende ein zusammenhängendes Cartoon-Video entsteht.
Stilumwandlung und Anpassung: Über 20 integrierte gängige Cartoon-Stilvorlagen ermöglichen einen Wechsel mit einem Klick und unterstützen auch benutzerdefinierte Stile.
Dynamische Bearbeitung der Einstellungen: Durch Ziehen und Ablegen von Einstellungs-Karten lassen sich Reihenfolge, Aktionen und Kameraparameter intuitiv anpassen.
Bereichssteuerung: Leere Bereiche können festgelegt werden, damit das Modell anhand der übrigen Bildteile passende Inhalte generiert, was den manuellen Zeichenaufwand reduziert.
Technische Vorteile
Mechanismus zur Einspeisung spärlicher Skizzen: Mithilfe von Positionskodierungs-Mapping und positionsabhängiger Residualtechnik werden spärliche Schlüsselbild-Skizzen präzise in das Modell integriert, um eine genaue zeitliche Steuerung zu erreichen.
Spatial Low-Rank Adapter (SLRA): Passt die räumliche Leistung des Modells an den Cartoon-Stil an und bewahrt gleichzeitig die zeitliche Kohärenz, sodass die erzeugten Bewegungen natürlicher wirken.
Bereichssteuerungsfähigkeit: Leere Bereiche können definiert werden, damit das Modell kontextbezogen passende Inhalte erzeugt, was den manuellen Zeichenaufwand verringert.
Verwendung von ToonComposer
Hardware- und Systemanforderungen: Es werden eine NVIDIA-GPU (mindestens 16 GB Videospeicher), Python 3.10 und PyTorch 2.6.0 benötigt.
Installationsschritte
git clone https://github.com/TencentARC/ToonComposer cd ToonComposer conda create -n tooncomposer python=3.10 -y conda activate tooncomposer pip install -r requirements.txt pip install flash-attn==2.8.0.post2 --no-build-isolation
Starten der Oberfläche
Befehl ausführen: python app.py --device cuda:0 --resolution 480p , anschließend im Browser http://localhost:7860 öffnen, um die Gradio-Oberfläche anzuzeigen.
Bedienung der Oberfläche
Text-Prompt: Beschreibung des Animationsinhalts als Text eingeben, z. B. „A girl with long hair waves her hand.".
Farbige Referenzbilder: Ein farbiges Bild mit 480×480 oder 608×480 Pixeln hochladen, in der Regel als Frame 0.
Schlüsselbild-Linearts: Die gewünschte Frame-Nummer auf der Zeitleiste auswählen und die zugehörigen Linearts hochladen – mindestens eines ist erforderlich.
Bereichsmaske (optional): Mit einem schwarzen Pinsel auf dem Lineart Bereiche schwärzen, damit das Modell diese Bereiche automatisch generiert.
Erweiterte Einstellungen: Die Prompt-Stärke (CFG Scale) und die Stärke der Lineart-Steuerung (Position-aware Residual Scale) können angepasst werden.
Animation generieren: Auf „Generate" klicken, den Fortschrittsbalken abwarten und die erzeugte Animation anschließend abspielen und herunterladen.
Vorteile und Ergebnisse
Weniger Handarbeit: Deutliche Reduzierung des manuellen Aufwands für Inbetweening und Koloration in der Animationsproduktion.
Hohe Generierungsqualität: In mehreren Tests schneidet ToonComposer hinsichtlich visueller Qualität, Bewegungskonsistenz und Produktionseffizienz besser ab als bestehende Methoden.
Hohe Flexibilität: Mehrere Schlüsselbild-Linearts können an beliebigen Zeitpunkten eingefügt werden, um eine feinere Bewegungssteuerung zu ermöglichen.
Anwendungsbereiche
Animationsproduktion
Traditioneller Cartoon: Schnelle Erzeugung von Zwischenbildern und Koloration, weniger Handarbeit, höhere Produktionseffizienz.
Online- und Live-Animation: Unterstützt Echtzeitgenerierung und eignet sich für Online-Cartoon-Produktion sowie Live-Animationsszenarien.
3D-Animation: Erkundung der Einsatzmöglichkeiten in der 3D-Animationsproduktion.
Bildungsbereich: Es können lebendige Lehranimationen erstellt werden, die komplexe Konzepte für Schüler verständlicher veranschaulichen.
Marketing und Werbung: Schnelle Erzeugung von Animations- und Kreativkonzepten für die Werbeproduktion.
Spieleentwicklung: Unterstützung der Spieleentwicklung durch schnelle Erzeugung von Charakter- und Szenenanimationen für die Prototypenerstellung.
Github:https://github.com/TencentARC/ToonComposer
