Project Astra: Ein Prototyp mit Videoverständnis von Google DeepMind 197

Project Astra ist ein Forschungsprototyp, der von Google DeepMind entwickelt wurde. Es verfügt über Video-Verständnis und kann über die Kamera und das Mikrofon des Geräts des Nutzers Hilfe im Alltag bieten. Auf der Google I/O 2024 kündigte Demis Hassabis, CEO von Google DeepMind, Project Astra an.

Project Astra ist ein multimodales KI-Projekt von Google, das darauf abzielt, einen KI-Assistenten zu entwickeln, der in der Lage ist, die Bilder der Kamera des Nutzers in Echtzeit zu interpretieren.

Funktionsmerkmale von Project Astra:

Multimodale Interaktion: Project Astra ermöglicht es Nutzern, über verschiedene Wege wie Sprache, Text, Zeichnungen, Fotos und Videos mit ihm zu interagieren und bietet so ein umfassendes Interaktionserlebnis.

Echtzeit-Erkennung und Gedächtnis: Astra kann Objekte in ununterbrochenen Videos erkennen und sich an deren Position erinnern. Es kann beispielsweise eine Brille erkennen und angeben, wo sie sich auf dem Tisch befindet (in der Nähe eines roten Apfels).

Code-Erklärung: Astra kann auch Code auf dem Bildschirm erklären, was zeigt, dass es in der Lage ist, komplexe visuelle Informationen zu verarbeiten und zu verstehen.

Lokaler Betrieb: Project Astra basiert auf Gemini und kann lokal auf Pixel-Smartphones betrieben werden, was auf eine hohe Verarbeitungsgeschwindigkeit und geringe Latenz hinweist.

Erweiterte Realität und Mensch-Maschine-Interaktion: Project Astra stellt einen großen Fortschritt in den Bereichen erweiterte Realität und Mensch-Maschine-Interaktion dar. Es macht Geräte nicht nur zu Werkzeugen zur Informationsbeschaffung, sondern zu Partnern, die unser tägliches Leben verstehen und daran teilnehmen können.

Enterprise-Speicher und Datendienste: Bemerkenswert ist, dass der Name Project Astra auch für ein Projekt von NetApp verwendet wird, das darauf abzielt, eine Enterprise-Speicher- und Datenservice-Plattform für Kubernetes bereitzustellen.

Wettbewerb mit OpenAI: Googles Project Astra weist Ähnlichkeiten mit OpenAIs GPT-4o auf. Beide verfolgen ähnliche Visionen im Bereich der KI-Assistenten und konkurrieren um denselben Markt.

Zukunftsausblick: Das Ziel von Project Astra ist es, die Technologie in Smartphones und tragbaren Geräten zu integrieren, um ein allgegenwärtiger Assistent in unserem täglichen Leben zu werden. Obwohl sich Astra derzeit noch im Prototypstadium befindet, hat es bereits sein Potenzial in den Bereichen Echtzeit-Interaktion und multimodales Verständnis unter Beweis gestellt.

Project Astra nutzt die Kamera und das Mikrofon auf dem Gerät des Nutzers, verarbeitet und kodiert kontinuierlich Videoframes und Spracheingaben, erstellt eine Zeitleiste von Ereignissen und speichert Informationen zwischen, um schnelles Erinnern zu ermöglichen. Dadurch kann die KI Objekte erkennen, Fragen beantworten und sich an Dinge erinnern, die sie zuvor gesehen hat, die aber nicht mehr im Sichtfeld der Kamera sind.

Google erklärte, dass sich Project Astra zwar noch in einem frühen Stadium befindet und es keine konkreten Veröffentlichungspläne gibt, deutete jedoch an, dass einige dieser Fähigkeiten noch später in diesem Jahr in Produkte wie die Gemini-App integriert werden könnten (als Funktion namens „Gemini Live"), was einen wichtigen Schritt bei der Entwicklung nützlicher KI-Assistenten darstellen würde. Google-CEO Sundar Pichai sagte, dies ziele darauf ab, einen Agenten mit „Agentur" zu schaffen, der „in deinem Namen denkt, argumentiert und plant".