Phenaki_云技派,专注ai人工智能! 123

Was ist Phenaki?

Phenaki ist ein Projekt von Google Research mit dem Ziel, realistische Videos aus Textbeschreibungen aus dem offenen Bereich zu synthetisieren. Es kann direkt aus Text Videos von bis zu mehreren Minuten Länge erzeugen.

Mit Phenaki können Sie außerdem Videos aus Standbildern und Prompts erzeugen. Der vorgeschlagene Video-Encoder-Decoder übertrifft alle in der Literatur derzeit verwendeten Per-Frame-Baselines in Bezug auf raumzeitliche Qualität und die Anzahl der Tokens pro Video.

Um Video-Tokens aus Text zu erzeugen, verwendet Phenaki einen bidirektionalen maskierten Transformer, der durch zuvor berechnete Text-Tokens bedingt wird. Die erzeugten Video-Tokens werden anschließend detokenisiert, um das eigentliche Video zu erstellen.

Phenaki ist ein Durchbruch auf dem Gebiet der Videosynthese, da es mit Prompts aus dem offenen Bereich sowie mit zeitvariablen Prompts umgehen kann – im Gegensatz zu früheren Methoden, die durch Datenverfügbarkeit und Rechenkosten eingeschränkt waren. Phenaki kann zudem Videos aus Standbildern und Prompts erzeugen, etwa um die Augen einer Katze zu vergrößern oder sie gähnen zu lassen. Phenaki bietet zahlreiche potenzielle Anwendungen, beispielsweise in Unterhaltung, Bildung, Storytelling und Kunst.

Was kann Phenaki?

Dieses Video geht im Ausland viral: Google macht KI-Videofälschungen zu einfach und zu realistisch

Vorteile von Phenaki:

Es kann Videos variabler Länge und Qualität erzeugen, mit einer maximalen Länge von bis zu zwei Minuten

Es kann Prompts aus dem offenen Bereich sowie zeitvariable Prompts verarbeiten, etwa Geschichten oder Beschreibungen

Es nutzt einen großen Korpus an Bild-Text-Paaren und eine kleine Menge an Video-Text-Beispielen, um über Video-Datensätze hinaus zu generalisieren