Project Astra : un prototype doté de la compréhension vidéo signé Google DeepMind 199

Project Astra est un prototype de recherche développé par Google DeepMind, doté de capacités de vidéo compréhension, et capable de fournir une assistance dans la vie quotidienne grâce à la caméra et au microphone de l'appareil de l'utilisateur. Lors de la conférence Google I/O 2024, le PDG de Google DeepMind, Demis Hassabis, a annoncé Project Astra.

Project Astra est un projet d'ia multimodal lancé par Google, visant à développer un assistant IA capable d'interpréter en temps réel les objets présents dans le champ de vision de la caméra de l'utilisateur.

Caractéristiques et fonctionnalités de Project Astra :

Interaction multimodale : Project Astra permet aux utilisateurs d'interagir avec lui via la voix, le texte, le dessin, la photo et la vidéo, offrant ainsi une expérience d'interaction complète.

Reconnaissance et mémoire en temps réel : Astra est capable d'identifier des objets dans une vidéo en continu et de se souvenir de leur emplacement. Par exemple, il peut reconnaître des lunettes et indiquer leur position sur une table (à proximité d'une pomme rouge).

Explication du code : Astra est également capable d'expliquer du code à l'écran, ce qui démontre sa capacité à traiter et comprendre des informations visuelles complexes.

Exécution locale : Project Astra est basé sur Gemini et peut fonctionner localement sur les téléphones Pixel, ce qui indique une vitesse de traitement élevée et une faible latence.

Réalité augmentée et interaction homme-machine : Project Astra représente une avancée majeure dans les domaines de la réalité augmentée et de l'interaction homme-machine, transformant les appareils de simples outils d'obtention d'informations en compagnons capables de comprendre et de participer à notre vie quotidienne.

Stockage de niveau entreprise et services de données : il convient de noter que Project Astra est également utilisé comme nom pour un projet de NetApp, qui vise à fournir une plateforme de stockage et de services de données de niveau entreprise pour Kubernetes.

Concurrence avec OpenAI : le Project Astra de Google présente des similitudes avec le GPT-4o d'OpenAI ; les deux partagent une vision similaire dans le domaine des assistants IA et se disputent le même marché.

Perspectives d'avenir : l'objectif de Project Astra est d'intégrer la technologie dans les téléphones et les appareils portables, afin qu'elle devienne un assistant omniprésent dans notre vie quotidienne. Bien qu'Astra en soit encore au stade de prototype, il a déjà démontré son potentiel en matière d'interaction en temps réel et de compréhension multimodale.

Project Astra utilise la caméra et le microphone de l'appareil de l'utilisateur. En traitant et en encodant en continu les images vidéo et les entrées vocales, il crée une chronologie des événements et met les informations en cache pour permettre un rappel rapide. Cela permet à l'IA d'identifier des objets, de répondre à des questions et de se souvenir de choses qu'elle a vues mais qui ne sont plus dans le champ de vision de la caméra.

Google a indiqué que, bien que Project Astra en soit encore à un stade précoce et qu'aucun plan de publication concret n'ait été annoncé, la société laisse entendre que certaines de ces capacités pourraient être intégrées d'ici la fin de l'année dans des produits tels que l'application Gemini (sous forme d'une fonctionnalité nommée « Gemini Live »), ce qui constituerait une étape importante dans le développement d'assistants IA utiles. Le PDG de Google, Sundar Pichai, a déclaré que l'objectif est de créer un agent doté d'une « agentivité », capable de « penser, raisonner et planifier en votre nom ».