Project Astra: un prototipo con comprensión de vídeo de Google DeepMind 201

Project Astra es un prototipo de investigación desarrollado por Google DeepMind que posee capacidad de comprensión de vídeo y puede ayudar en la vida diaria a través de la cámara y el micrófono del dispositivo del usuario. En la conferencia Google I/O 2024, el director ejecutivo de Google DeepMind, Demis Hassabis, anunció Project Astra.

Project Astra es un proyecto de IA multimodal lanzado por Google, cuyo objetivo es desarrollar un asistente de IA capaz de interpretar en tiempo real los objetos en la imagen de la cámara del usuario.

Características y funciones de Project Astra:

Interacción multimodal: Project Astra permite a los usuarios interactuar con él de múltiples formas, como voz, texto, dibujo, fotos y vídeo, ofreciendo una experiencia de interacción completa.

Reconocimiento y memoria en tiempo real: Astra es capaz de reconocer objetos en vídeo continuo y recordar la ubicación de los mismos. Por ejemplo, puede reconocer unas gafas e indicar su ubicación en la mesa (cerca de una manzana roja).

Explicación de código: Astra también es capaz de explicar el código en pantalla, lo que indica que puede procesar y comprender información visual compleja.

Ejecución local: Project Astra está basado en Gemini y puede ejecutarse localmente en teléfonos Pixel, lo que demuestra su alta velocidad de procesamiento y baja latencia.

Realidad aumentada e interacción persona-máquina: Project Astra ha logrado avances significativos en realidad aumentada e interacción persona-máquina, convirtiendo los dispositivos no solo en herramientas para obtener información, sino en compañeros capaces de comprender y participar en nuestra vida diaria.

Almacenamiento empresarial y servicios de datos: cabe destacar que Project Astra también se utiliza como nombre de un proyecto de NetApp, cuyo objetivo es proporcionar una plataforma de almacenamiento y servicios de datos de nivel empresarial para Kubernetes.

Competencia con OpenAI: el Project Astra de Google tiene similitudes con el GPT-4o de OpenAI; ambos comparten una visión similar en el campo de los asistentes de IA y compiten por el mismo mercado.

Perspectivas de futuro: el objetivo de Project Astra es integrar la tecnología en teléfonos móviles y dispositivos wearables, convirtiéndose en un asistente omnipresente en nuestra vida diaria. Aunque actualmente Astra todavía se encuentra en fase de prototipo, ya ha demostrado su potencial en interacción en tiempo real y comprensión multimodal.

Project Astra utiliza la cámara y el micrófono del dispositivo del usuario. Mediante el procesamiento y codificación continuos de fotogramas de vídeo y entradas de voz, crea una línea temporal de eventos y almacena información en caché para una recuperación rápida. Esto permite que la IA reconozca objetos, responda preguntas y recuerde cosas que ha visto pero que ya no están en el campo de visión de la cámara.

Google ha declarado que, aunque Project Astra aún se encuentra en una fase inicial y no hay un plan de lanzamiento concreto, la compañía insinúa que algunas de estas capacidades podrían integrarse a finales de este año en productos como la aplicación Gemini (como una función llamada "Gemini Live"), lo que será un paso importante en el desarrollo de asistentes de IA útiles. El CEO de Google, Sundar Pichai, ha afirmado que esto tiene como objetivo crear un agente con "capacidad agentiva" que pueda "pensar, razonar y planificar en tu nombre".