AniSora: Fortschrittliches Open-Source-Modell zur Anime-Videogenerierung von Bilibili 167

AniSora (Index-AniSora) ist ein Open-Source-Modell zur Anime-Videogenerierung von Bilibili, auch als »Open-Source-Geschenk an die Anime-Welt« bezeichnet. Es ist derzeit das stärkste Open-Source-Modell zur Generierung von Anime-Videos, speziell für die Erstellung von Anime-Inhalten optimiert.

#Ai工具箱 #Ai视频生成

Besuchen AniSora: Fortschrittliches Open-Source-Modell zur Anime-Videogenerierung von Bilibili

AniSora: Fortschrittliches Open-Source-Modell zur Anime-Videogenerierung von BilibiliEinführung

Was ist AniSora?

AniSora (vollständiger Name Index-AniSora) ist ein von Bilibili (B-Station) quelloffen veröffentlichtes Anime-Video-Generierungsmodell und wird als „Open-Source-Geschenk an die Anime-Welt" bezeichnet. Es ist derzeit das stärkste quelloffene Anime-Video-Generierungsmodell und speziell für die Erstellung von Anime-Inhalten optimiert.

Das Projekt wurde im Mai 2025 offiziell veröffentlicht und quelloffen zur Verfügung gestellt, lizenziert unter Apache 2.0, und kann sowohl von Privatpersonen als auch kommerziell kostenlos genutzt werden. AniSora wurde auf der internationalen akademischen Konferenz IJCai'25 mit einer wissenschaftlichen Arbeit anerkannt und repräsentiert einen neuen technologischen Durchbruch in der Anime-Video-Generierung.

8AniSora

Versionsentwicklung

V1.0: Basierend auf dem CogVideoX-5B-Modell, ermöglicht lokale Bereichssteuerung und zeitliche Steuerung

V2.0: Wechsel zum Wan2.1-14B-Modell, stabilere Generierungsergebnisse

V3.0 (Veröffentlichung im Juli 2025): Bessere Generierungsqualität und flüssigere Bewegungen, die quantisierte Version ermöglicht Inferenz auf einer einzelnen RTX 4090

Kernfunktionen und Merkmale von AniSora

Multi-Stil-Video-Generierung: Kann über 90 % der Anime-Videoszenen abdecken, darunter Anime-Serien, chinesische Originalanimationen, Manga-Adaptionen, VTuber-Inhalte, Anime-PVs, „Guichu" (MAD) usw.
Bild-zu-Video-Generierung (I2V): Aus einem einzigen Bild wird eine kohärente Animation erzeugt, wobei Charakterdetails und Stil erhalten bleiben
Frame-Interpolation: Aus Schlüsselbildern werden automatisch Zwischenbilder erzeugt, was für flüssigere Übergänge sorgt und das manuelle Zeichnen vieler Zwischenbilder überflüssig macht
Räumlich-zeitliche Maskensteuerung: Präzise Steuerung von Zeit und Raum, z. B. Festlegen des ersten, letzten oder beliebiger Zwischenbilder sowie gezielte Bewegung einzelner lokaler Bereiche
Multimodale Steuerung: Gleichzeitige Eingabe von Text, Bild und Maske zur Umsetzung komplexer Szenen
Stilübertragung: Ermöglicht die Umwandlung eines Anime-Stils in einen anderen
RLHF-Optimierung: Durch verstärkendes Lernen mit menschlichem Feedback und 30.000 manuell annotierten Daten trainiert, sodass die Ausgabe besser den menschlichen Vorlieben entspricht
Hardware-Kompatibilität: Native Unterstützung für NVIDIA-GPUs und Huawei Ascend 910B NPUs, ca. 20 % schnellere Inferenz

Anwendungsszenarien von AniSora

Anime-Content-Erstellung: Schnelle Erstellung von Anime-Serienausschnitten und chinesischen Originalanimationen; Umsetzung von Manga in Videos mit automatischer Lip-Sync- und Bewegungsunterstützung; Erstellung von AniME-Trailern oder Kurzanimationen
Virtuelle Streamer (VTuber): Echtzeit-Generierung von Charakteranimationen und Hintergründen für ansprechendere Livestreams und Videos
Unterstützung bei der Animationsproduktion: Ergänzt Schlüsselbilder und lokale Anpassungen für professionelle Animatoren, sodass das Zeichnen von Zwischenbildern entfällt und die Effizienz steigt
Sekundär- und „Guichu"-Erstellungen: Unterstützt Fan-Kreationen und „Guichu"-Animationen und bringt so neue Dynamik in die Anime-Welt
Spiele und Bildung: Schnelle Erstellung von Animations-Assets für Spiele; Erstellung von Lehr- und Lernanimationen
Unterstützung unabhängiger Kreativer: Senkt die Einstiegshürde, sodass auch kleine Teams mit geringem Budget hochwertige Animationen erstellen können

Verwendung von AniSora

Methode 1: Lokale Bereitstellung

1. Umgebung vorbereiten: Installation von Python und einem Deep-Learning-Framework (z. B. PyTorch); Hardware: NVIDIA-GPU (empfohlen RTX 4090 oder höher) oder Huawei Ascend 910B NPU
2. Modell beziehen: GitHub-Repository klonen (git clone https://github.com/bilibili/Index-anisora); Modellgewichte von Hugging Face herunterladen (ca. 8 GB)
3. Generierung ausführen: Textbeschreibung oder einzelnes Bild als Eingabe vorbereiten; Parameter anpassen (Videolänge, Stilintensität, Bewegungsumfang, Seed-Wert usw.); Generierungsskript ausführen und auf Ergebnisse warten (V3 benötigt ca. 2,5 Minuten für ein 4-Sekunden-Video)
4. Nachbearbeitung: Ergebnisse mit den bereitgestellten Steuerungsfunktionen feinjustieren

Methode 2: ComfyUI-Plugin

ComfyUI-WanVideoWrapper-Plugin installieren; von der Community geteilte Workflows verwenden: [Anime-spezifisch] AniWanText-zu-Video 1280 HD-Lösung, [Anime-spezifisch] AniWanBild-zu-Video 1280 HD-Lösung

Methode 3: Online testen

Auf der offiziellen Demo-Website: www.anisora.ai

❓ Häufig gestellte Fragen

F1: Was unterscheidet AniSora von allgemeinen Modellen wie Sora oder Kling?

A: Allgemeine Modelle (z. B. OpenAI Sora, Kling) sind gut in natürlichen Szenen und Realvideos, haben jedoch bei den übertriebenen Darstellungen und nicht-realistischen Renderings von Anime Schwächen. AniSora ist speziell für Anime optimiert und bietet konsistentere Charaktere, flüssigere Bewegungen und mehr „Anime-Feeling".

F2: Gibt es Einschränkungen bei Auflösung und Länge des generierten Videos?

A: V3 unterstützt bis zu 1080p. Die Länge ist einstellbar, üblicherweise werden 4–5 Sekunden kurze Inhalte erstellt; durch zeitliche Steuerung kann sie verlängert werden.

F3: Wie hoch sind die Hardware-Anforderungen?

A: Die quantisierte Version von V3 ermöglicht Inferenz auf einer einzelnen RTX 4090. Ein 4-GPU-RTX-4090-System benötigt 30 Sekunden für ein 5-Sekunden-Video mit 360p; ein 8-GPU-A800-System benötigt nur 8 Sekunden. Im Vergleich zu V2 ca. 15 % weniger Artefakte.

F4: Wie erhalte ich den Trainingsdatensatz?

A: Das Team hat einen Antragskanal für hochwertige Trainingsdatensätze eröffnet. Durch Ausfüllen eines Antragsformulars und Senden an die angegebene E-Mail-Adresse (z. B. [email protected]) erhält man Zugriff auf die V2.0-Gewichte und den vollständigen Datensatz.

F5: Welche Anime-Stile werden unterstützt?

A: Unterstützt werden japanische Anime, chinesische Originalanimationen, Manga-Adaptionen, VTuber-Inhalte, „Guichu"-Animationen usw., abgedeckt werden 90 % der Anime-Videoszenen.

F6: Was kann ich tun, wenn das Generierungsergebnis instabil ist?

A: Empfehlungen: Verwenden Sie bei der Bild-zu-Video-Generierung ein klares Bild; verfassen Sie detaillierte Textprompts, die Bewegung und Szene beschreiben; passen Sie den Seed-Wert an, um konsistente Ergebnisse zu erzielen; nutzen Sie die Steuerung des ersten und letzten Bildes, um den Videoverlauf zu lenken.