Veo: leistungsstarkes generatives Videomodell von Google 173

Google Veo ist unser bisher leistungsstärkstes Video-Generierungsmodell. Es kann qualitativ hochwertige Videos mit 1080p-Auflösung und einer Länge von über einer Minute in einer Vielzahl von filmischen und visuellen Stilen erzeugen.

Es erfasst nuancenreich die Feinheiten und den Tonfall von Eingabeaufforderungen und bietet ein beispielloses Maß an kreativer Kontrolle – es versteht Aufforderungen für verschiedene filmeffekte wie Zeitraffer oder Luftaufnahmen von Landschaften.

Unser Video-Generierungs-Modell wird dazu beitragen, Werkzeuge zu entwickeln, die Videoproduktion für jeden zugänglich machen. Egal, ob Sie ein erfahrener Filmemacher, ein angehender Kreativer oder ein Pädagoge sind, der Wissen teilen möchte – Google Veo eröffnet neue Möglichkeiten für das Geschichtenerzählen, die Bildung und mehr.

In den kommenden Wochen werden einige dieser Funktionen über das neue Experimentiertool VideoFX auf Labs.google für ausgewählte Kreative verfügbar sein. Sie können sich jetzt auf die Warteliste setzen lassen.

In Zukunft werden wir außerdem einige Funktionen von Google Veo in YouTube Shorts und andere Produkte integrieren.

Funktionsmerkmale von Google Veo:

Besseres Verständnis von Sprache und visuellen Inhalten:

Um kohärente Szenen zu erzeugen, müssen generative Videomodelle Texteingaben exakt interpretieren und diese Informationen mit relevanten visuellen Referenzen verknüpfen.

Mit einem tiefen Verständnis für natürliche Sprache und visuelle Semantik erzeugt Google Veo Videos, die den Eingabeaufforderungen präzise folgen. Es erfasst exakt die Nuancen und den Tonfall in Formulierungen und stellt komplexe Details in anspruchsvollen Szenen dar.

Filmemacherische Kontrolle:

Wenn gleichzeitig ein Eingangsvideo und ein Bearbeitungsbefehl gegeben werden – beispielsweise ein Kajak zu einer Luftaufnahme einer Küstenlinie hinzuzufügen – kann Google Veo diesen Befehl auf das ursprüngliche Video anwenden und ein neues, bearbeitetes Video erstellen.

Darüber hinaus unterstützt es Maskenbearbeitung: Wenn Sie einem Video und einer Texteingabeaufforderung Maskenbereiche hinzufügen, können Sie bestimmte Bereiche des Videos ändern.

Google Veo kann außerdem ein Video erzeugen, das Bilder als Eingabe zusammen mit einer Texteingabeaufforderung enthält. Durch die Bereitstellung eines Referenzbildes in Kombination mit einer Texteingabeaufforderung kann Google Veo Videos erstellen, die dem Stil des Bildes und den Anweisungen der Nutzereingabe folgen.

Das Modell ist zudem in der Lage, Videoclips zu erstellen und auf 60 Sekunden oder sogar länger zu erweitern. Dies kann es mit einer einzigen Eingabeaufforderung tun, oder durch eine Reihe von Aufforderungen, die zusammen eine Geschichte erzählen.

Konsistenz zwischen Videoframes

Die Aufrechterhaltung visueller Konsistenz ist eine Herausforderung für Videogenerierungsmodelle. Charaktere, Objekte und sogar ganze Szenen können zwischen den Einzelbildern flackern, springen oder sich unerwartet verformen, was das Seherlebnis beeinträchtigt.

Der hochmoderne latente Diffusion Transformer von Google Veo reduziert das Auftreten solcher Inkonsistenzen und sorgt dafür, dass Charaktere, Objekte und Stile an Ort und Stelle bleiben – wie im echten Leben.

Aufbauend auf jahrelanger Forschung im Bereich Videogenerierung

Google Veo baut auf jahrelanger Arbeit an generativen Videomodellen auf, darunter Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet und Lumiere sowie auf unserer Transformer-Architektur und Gemini.

Um Google Veo zu helfen, Eingabeaufforderungen genauer zu verstehen und zu befolgen, haben wir den Untertiteln jedes Videos in den Trainingsdaten außerdem detailliertere Informationen hinzugefügt. Um die Leistung weiter zu steigern, verwendet das Modell eine hochwertige komprimierte Videodarstellung (auch latente Bilder genannt) und ist somit effizienter. Diese Schritte verbessern die Gesamtqualität und reduzieren die für die Videogenerierung benötigte Zeit.