Amazon Nova Act : l'agent IA d'Amazon qui pilote un navigateur et exécute des tâches simples en autonomie 146

Qu'est-ce que Nova Act ?

Nova Act est un agent IA lancé par Amazon, capable de contrôler un navigateur web et d'exécuter de manière autonome des tâches simples telles que la recherche, le remplissage de formulaires et la validation de commandes. Il prend également en charge la reconnaissance d'instructions détaillées et la décomposition de tâches complexes, aidant ainsi les utilisateurs à simplifier leurs opérations quotidiennes.

Fonctionnalités de Nova Act

• Capacité de contrôle du navigateur : Nova Act peut décomposer des tâches complexes en instructions atomiques (telles que la recherche, le paiement, le remplissage de formulaires) et appeler des API de navigateur ou des outils comme Playwright pour automatiser les opérations, par exemple commander une salade en ligne, réserver un restaurant ou configurer des réponses automatiques aux e-mails. Ses tests internes montrent un taux de réussite supérieur à 90 % dans les tâches d'interaction UI telles que la sélection de dates et la gestion de fenêtres contextuelles.

• Décomposition de tâches complexes : le SDK Nova Act permet aux développeurs de décomposer des tâches complexes en une série de commandes simples exécutables, par exemple « trouver l'itinéraire le plus pratique de chez moi à ces trois magasins, puis aller voir un film vers 18 h ».

• Reconnaissance d'instructions détaillées : il est capable de reconnaître des instructions très précises, comme refuser une offre d'assurance lors d'un achat.

• Architecture d'interaction multimodale : en s'appuyant sur les modèles fondamentaux Nova développés en interne (tels que Nova Micro/Lite/Pro) pour analyser le contenu des pages web, et grâce à une capacité de score élevé de 94 % au ScreenSpot Web Text, il simule la logique opérationnelle humaine, réalisant une boucle fermée de reconnaissance visuelle, de simulation comportementale et de contrôle de processus.

Performances

Lors du test interne ScreenSpot Web Text d'Amazon, Nova Act a obtenu un score de 94 %, surpassant le CUA d'OpenAI (88 %) et le Claude 3.7 Sonnet d'Anthropic (90 %). Cependant, Amazon ne l'a pas évalué sur les benchmarks d'agents plus courants (tels que WebVoyager), et sa comparaison de performances nécessite encore davantage de validations externes.

Cas d'utilisation de Nova Act

• Assistant shopping : Nova Act peut aider les utilisateurs à effectuer des achats en ligne, par exemple commander une salade chez Sweetgreen ou réserver un dîner.

• Planification de trajets : il peut aider les utilisateurs à planifier leurs déplacements, comme trouver le meilleur itinéraire entre leur domicile et plusieurs endroits, et organiser des activités de suivi telles qu'aller au cinéma.

• Remplissage de formulaires : Nova Act peut remplir automatiquement divers formulaires en ligne.

• Planification d'agenda : il peut également sélectionner des dates dans un calendrier pour aider les utilisateurs à organiser leur emploi du temps.

• Recherche d'informations : Nova Act peut rechercher et répondre à des questions relatives au contenu affiché à l'écran, selon les instructions de l'utilisateur.

• Intégration avec Alexa+ : Nova Act prendra également en charge la prochaine mise à niveau d'Alexa+ d'Amazon, une version améliorée par IA générative de l'assistant vocal populaire d'Amazon.

Nova Act a été développé par le nouveau laboratoire AGI (Intelligence Artificielle Générale) d'Amazon basé à San Francisco, et Amazon Nova Act est le premier produit public de ce laboratoire.

Présentation détaillée :https://labs.amazon.science/blog/nova-act

Site officiel :https://nova.amazon.com/