updream Preview: von Bilibili entwickeltes KI-Tool für 3D-Video-Previews 197

Was ist die updream Pre-Visualization-Station

Die updream Pre-Visualization-Station ist eine Funktion innerhalb des von Bilibili selbst entwickelten KI-Videoprodukts updream und wurde am 17. August 2026 eingeführt. Sie überträgt den in der Filmbranche üblichen Visualisierungsvorbereitungs-Workflow in die KI-Video-Leinwand. Das Vorgehen: Man lädt ein Szenen-Referenzbild hoch, das System generiert eine 3D-Whitebox-Szene, der Ersteller platziert in dieser Szene Kamera und Figuren, nimmt ein Whitebox-Video auf und schickt dieses zurück an die Leinwand, wo es von Video-Modellen wie Seedance, Kling oder Wan zum fertigen Film gerendert wird.

Sie ermöglicht es KI-Video-Erstellern, die Kamera wie in Blender zu steuern – erst das Bild designen, dann generieren. Das reduziert das wiederholte Ausprobieren und spart eine Menge Geld.

Kernfunktionen

• Lade ein Szenenbild hoch, das System analysiert Tiefe, Proportionen und Verdeckungen und erstellt eine bearbeitbare 3D-Whitebox, was etwa 4–7 Minuten dauert. Es werden bis zu 3 Referenzbilder aus verschiedenen Blickwinkeln unterstützt.

• Bei Figuren lassen sich Whitebox-Charaktere hinzufügen, deren Name, Farbe, Körpertyp, Größe und Grundhaltung angepasst werden können. Drücke G zum Verschieben und R zum Drehen, um Position und Ausrichtung festzulegen.

• Es können neue Kameras angelegt werden mit Einstellungen für Objektivtyp, Brennweite, Blende und Sensorformat. Push-ins, horizontale Schwenks und Verfolgungsfahrten werden unterstützt, ebenso wie Keyframe-Bearbeitung der Kamerabewegung. Mehrere Kameras lassen sich anhand der Zeitleiste umschalten, mit Keyframes am Anfang und Ende jeder Einstellung – ideal für Schuss-Gegenschuss und andere Mehrkamera-Erzählweisen.

• Nach Bestätigung der Vorschau kann ein Whitebox-Video mit 1280×720/30fps aufgenommen werden, das nach dem Export automatisch zur Leinwand zurückkehrt und an das Video-Modell zur Endbild-Generierung übergeben wird. Für Charakterkonsistenz: Lade vier Master-Bilder des Charakters hoch (Vorder-, Seiten-, Rückansicht, 45-Grad-Winkel), um ein Charakter-Whitebox-Modell zu erzeugen, das in der Vorschau wiederverwendet und an Bewegungsvorlagen gebunden werden kann, um ein einheitliches Erscheinungsbild über alle Einstellungen hinweg sicherzustellen.

• Zusätzlich lässt sich die Vorschau-Station über einen Agent-Knoten starten. Mit natürlicher Sprache kann die KI Räumlichkeit, Bewegungsabläufe und Lichtverhältnisse ableiten, mehrere Varianten generieren und die physikalische Plausibilität überprüfen.

Warum die updream Pre-Visualization-Station wählen

Das am schwierigsten zu kontrollierende Element in der KI-Videoproduktion ist der Raum. Versucht man, Kameraführung und Figurenbewegung per Text zu beschreiben, haben Modelle große Schwierigkeiten, Koordinaten, Abstände, Ausrichtungen und Zeitabläufe im dreidimensionalen Raum zu verstehen. Auch im ControlNet-Paper wurde erwähnt, dass Text-zu-Video-Systeme keine räumliche Verankerung besitzen – und eine grobe 3D-Whitebox ist genau die richtige Lösung als räumlicher Anker. Whitebox-Referenzversionen erfordern weniger Versuche und liefern stabilere Ergebnisse als reine Prompt-Versionen.

Herkömmliche Whitebox-Workflows erfordern entweder Blender-Kenntnisse oder den Aufbau mit ComfyUI – die Einstiegshürde ist nicht niedrig. Die Vorschau-Station verdichtet diesen Ablauf in eine einzige Konsole und ist auch ohne Modeling-Erfahrung nutzbar. In Praxistests ließ sich bei einem 60-Sekunden-Film durch den Einsatz der Vorschau-Station ohne nennenswertes Ausprobieren nutzbares Material gewinnen. Nutzer berichten, dass pro Einnahme über einhundert Yuan an Credits eingespart werden.

Sie arbeitet zudem mit updreams Skill-Workflow zusammen: Skill kümmert sich um die Narration, die Vorschau-Station um Raum und Kameraführung – so wird die gesamte Kette vom Drehbuch bis zum fertigen Film abgedeckt.

Anwendungsszenarien

In KI-Kurzfilmen und Comicserien sind Gruppenkompositionen, Blickachsen und Mehrkamera-Schnitte die Aspekte, die mit reinen Prompts am schwierigsten umzusetzen sind. Mit der Vorschau-Station lassen sich Bewegungsabläufe und Kameraführung fixieren, sodass eine 10-minütige Folge einer KI-Kurzserie in drei Tagen fertiggestellt werden kann.

Für Film-Storyboards: Kombiniere die Vorschau-Station mit dem Skill-Workflow, integriere das Previs in die Leinwand, lade reale Szenenfotos hoch, um 3D-Whitebox-Modelle zu erzeugen, steuere die Kameras parameterbasiert und exportiere Storyboard-Videos für das Rendering mit Seedance 2.5.

Auch für die Nachbildung komplexer Kamerafahrten gibt es Praxisfälle, etwa die Copacabana-Verfolgungsfahrt aus „Goodfellas" oder die Schuss-Gegenschuss-Szene im Café aus „Heat". Whitebox-Referenzversionen schneiden bei Bewegungskontinuität und Schnittzeitpunkten besser ab als reine Prompt-Versionen.

Wenn bei Werbespots und Markenkurzfilmen Produktpräsentationswinkel und Kamerarhythmus kontrolliert werden müssen, sorgt die Vorschau-Station dafür, dass Komposition und Kameraführung der Regieabsicht entsprechen. Auch in der Filmvorproduktion kann das Whitebox-Video genutzt werden, um Kameravorschläge Kunden oder Teammitgliedern zu präsentieren – das reduziert Kommunikationsaufwand und Nachbearbeitung.

So verwendest du sie

1. Referenzbild hochladen: Melde dich auf der offiziellen updream-Website an und klicke auf der Startseite direkt auf „3D-Vorschau-Station", um diese zu öffnen. Klicke auf „Raum generieren" und lade ein Szenen-Referenzbild hoch. Das erste Bild sollte frontal, ohne Verzerrung und mit dem Hauptobjekt in der Mitte sein – schräge oder Aufsicht-Aufnahmen führen leicht zu Wänden durchdringenden oder schwebenden Whitebox-Elementen.

2. Whitebox generieren: Klicke auf „Generierung starten" und warte etwa 4–7 Minuten, bis das System eine bearbeitbare Whitebox mit Achsenlinien erstellt. Falls die Whitebox unnötige Dachelemente enthält, aktiviere die Option „Obere Strukturen entfernen" und generiere neu.

3. Figuren hinzufügen und Bewegung festlegen: Klicke in der rechten Seitenleiste auf „Figur hinzufügen", um ein Charakter-Whitebox-Modell einzufügen, und passe in der Szenenebene Größe, Körpertyp und Grundhaltung an. Wähle die Figur aus, drücke G zum Verschieben und R zum Drehen, und definiere Bewegungspfade durch Ziehen, Linienzeichnen oder Keyframes.

4. Kamera designen: Erstelle eine neue Kamera und stelle Brennweite und Blende ein. Für Totale eignet sich 24mm/f5.6, für Halbnah 50mm/f4. Zeichne den Kamerabewegungspfad und beobachte die aktuelle Perspektive im Vorschaufenster oben rechts.

5. Aufnahme und Render: Bestätige nach der Vorschau das Setup, klicke oben rechts auf „Aufnehmen" – das Whitebox-Video wird automatisch zur Leinwand hinzugefügt. Verwende das Whitebox-Video als Referenz für das Video-Modell. Im Prompt brauchen dann nur Stil, Lichtstimmung, Kleidung der Figuren usw. beschrieben zu werden – Kameraführung und Bewegung übernimmt das Whitebox-Video.

Häufig gestellte Fragen

F1: Muss man Blender können?

Nein. Die Vorschau-Station ist genau für Leute ohne Modeling-Erfahrung gedacht – einfach ein Referenzbild hochladen und das Whitebox-Modell wird generiert.

F2: Warum verbessert eine 3D-Whitebox die Stabilität der Kameraführung?

Die Whitebox liefert räumliche Anker: Die Szenenstruktur ist sichtbar, Start- und Endpunkte der Figuren sind festgelegt, der Kameraweg kann gezeichnet werden, und Schnittzeitpunkte können präzise auf der Zeitleiste platziert werden. Solche Informationen lassen sich per Text nicht genau genug beschreiben – die Whitebox überträgt sie exakt.

F3: Je detailreicher die Whitebox, desto besser?

Nicht unbedingt. In der Whitebox-Phase zählt nur die Struktur, nicht Farbe oder Material. Texturen werden später vom Video-Modell anhand der Prompts neu gezeichnet. Texturen in der Vorschau-Station zu bearbeiten, ist Zeitverschwendung.

F4: Wie hält man KI-Figuren über verschiedene Einstellungen konsistent?

Lade vier Master-Bilder derselben Figur hoch: Halbnahe Vorderansicht, ganze Seitenansicht, Rückansicht im Stehen, 45-Grad-Nahaufnahme. Daraus wird das Charakter-Whitebox-Modell erzeugt. Ziehe es in der Vorschau aus der Bibliothek wieder zur Wiederverwendung herein und aktiviere im Modell „Character Consistency: High".

F5: Wie lange dauert die Erzeugung eines Whitebox-Videos?

Das Szenen-Whitebox-Modell benötigt etwa 4–7 Minuten, Figurenbewegung und Kameradesign hängen von der Szenenkomplexität ab, die Aufnahme selbst erfolgt in Echtzeit. Vom Aufbau der Whitebox bis zum Export dauert ein 60-Sekunden-Film etwa 30–60 Minuten.

F6: Kann die Vorschau-Station die Zufälligkeit komplett eliminieren?

Nein. Die Whitebox beschränkt hauptsächlich Raum und Bewegung; Figurendetails, Materialien, Natürlichkeit der Bewegung und komplexe physikalische Interaktionen hängen weiterhin vom Modell selbst ab.

Vergleich mit der LibTV Director's Station

Verwandte Informationen:

Wie wählt man einen 3D-Previsualization-Tisch? Empfehlung von sechs chinesischen 3D-Regietools für 2026