Amazon Nova Act: Amazons KI-Agent, der einen Webbrowser steuert und einfache Aufgaben autonom ausführt 141

Was ist Nova Act?

Nova Act ist ein von Amazon vorgestellter KI-Agent, der in der Lage ist, einen Webbrowser zu steuern und einfache Aufgaben eigenständig auszuführen. Er kann den Webbrowser bedienen und unabhängig einfache Aufgaben wie Suchen, Ausfüllen von Formularen oder Abschließen von Bestellungen erledigen. Darüber hinaus unterstützt er die Erkennung detaillierter Anweisungen und die Zerlegung komplexer Aufgaben und hilft Nutzern so, alltägliche Abläufe zu vereinfachen.

Funktionsmerkmale von Nova Act

• Browser-Steuerungsfähigkeit: Nova Act kann komplexe Aufgaben in atomare Anweisungen zerlegen (z. B. Suchen, Bezahlen, Ausfüllen von Formularen) und durch den Aufruf von Browser-APIs oder Playwright-Tools automatisierte Vorgänge ausführen, wie etwa das Online-Bestellen eines Salats, die Reservierung in einem Restaurant oder das Einrichten automatischer E-Mail-Antworten. Interne Tests zeigen, dass die Erfolgsquote bei UI-Interaktionsaufgaben wie Datumsauswahl und Popup-Behandlung über 90 % liegt.

• Zerlegung komplexer Aufgaben: Das Nova Act SDK ermöglicht es Entwicklern, komplexe Aufgaben in eine Reihe ausführbarer einfacher Befehle zu zerlegen, z. B. „Finde die bequemste Route von meinem Zuhause zu diesen drei Geschäften und sieh dir dann gegen 18 Uhr einen Film an“.

• Erkennung detaillierter Anweisungen: Es kann detailliertere Anweisungen erkennen, etwa beim Einkaufen Versicherungsangebote abzulehnen.

• Multimodale Interaktionsarchitektur: Basierend auf selbst entwickelten Nova-Grundlagenmodellen (wie Nova Micro/Lite/Pro) werden Webinhalte analysiert. In Kombination mit der hohen Leistung von 94 % beim ScreenSpot Web Text wird die menschliche Bedienlogik simuliert, um einen geschlossenen Kreislauf aus visueller Erkennung, Verhaltenssimulation und Prozesssteuerung zu erreichen.

Leistung

Im internen ScreenSpot-Web-Text-Test von Amazon erzielte Nova Act eine Punktzahl von 94 % und schnitt damit besser ab als OpenAIs CUA (88 %) und Anthropics Claude 3.7 Sonnet (90 %). Allerdings hat Amazon es nicht anhand der gängigeren Agenten-Bewertungsbenchmarks (wie WebVoyager) getestet, sodass Leistungsvergleiche noch weiterer externer Validierung bedürfen.

Anwendungsszenarien für Nova Act

• Einkaufsassistent: Nova Act kann Nutzern beim Online-Einkauf helfen, z. B. einen Salat von Sweetgreen bestellen oder eine Restaurantreservierung vornehmen.

• Reiseplanung: Es kann Nutzer bei der Planung von Routen unterstützen, etwa die beste Route von zu Hause zu mehreren Zielen finden und anschließende Aktivitäten wie einen Kinobesuch arrangieren.

• Formularausfüllung: Nova Act kann verschiedene Online-Formulare automatisch ausfüllen.

• Terminplanung: Es kann auch im Kalender Daten auswählen und Nutzern so bei der Terminplanung helfen.

• Informationsabfrage: Nova Act kann entsprechend den Nutzeranweisungen suchen und Fragen zu auf dem Bildschirm angezeigten Inhalten beantworten.

• Integration mit Alexa+: Nova Act wird zudem das bald erscheinende Upgrade von Amazon, Alexa+, unterstützen – eine generative KI-Erweiterung des beliebten Sprachassistenten von Amazon.

Nova Act wurde im neu gegründeten AGI-Labor (Artificial General Intelligence) von Amazon in San Francisco entwickelt. Amazon Nova Act ist das erste öffentlich vorgestellte Produkt dieses Labors.

Detaillierte Einführung:https://labs.amazon.science/blog/nova-act

Offizielle Website:https://nova.amazon.com/