OmniParser V2: Microsofts Tool zur Umwandlung von UI-Screenshots in strukturierte Daten 190

OmniParser V2 ist ein leistungsstarkes ai-Tool, das Computern dabei hilft, visuelle Informationen von Benutzeroberflächen zu verstehen und mit ihnen zu interagieren. Es nutzt visuelle und Sprachmodelle (VLM), erkennt nicht nur interaktive Elemente auf dem Bildschirm, sondern kann auch komplexe UI-Screenshots in strukturierte Daten umwandeln. Es unterstützt Sprachmodelle dabei, Bildschirmelemente zu verstehen und Benutzerinteraktionen vorherzusagen, um daraufhin präzise Aktionen zu erzeugen – eine äußerst leistungsstarke Lösung für das Bildschirmverständnis.

Funktionsmerkmale von OmniParser V2

• Kompatibilität mit mehreren Modellen: OmniParser V2 ist mit einer Vielzahl derzeit beliebter LLMs kompatibel, wie etwa OpenAI, DeepSeek usw., wodurch Flexibilität und Einsatzbereich erheblich erweitert werden.

• Fusion von Bild und Sprache: Dieses Tool kombiniert geschickt visuelle und Sprachmodelle (VLM), um erfasste UI-Elemente präzise zu analysieren und zu verstehen – was für die Entwicklung intelligenter Agenten äußerst bedeutsam ist.

• Ausgabe strukturierter Daten: Beim Analysieren von Bildschirmfotos kann OmniParser V2 UI-Elemente wie Schaltflächen, Textfelder usw. automatisch erkennen und klassifizieren und sie in strukturierte Informationen umwandeln, was nachfolgende Vorgänge und Analysen erleichtert.

• Erzeugung präziser Aktionen: Es identifiziert nicht nur UI-Elemente, sondern erzeugt auf Grundlage der Erkennungsergebnisse entsprechende Aktionsanweisungen und bietet somit eine komfortable Grundlage für die Entwicklung intelligenter Anwendungsautomatisierung.

• Intelligente OCR-Extraktion: Durch den Einsatz fortschrittlicher OCR-Technologie werden Bildschirmtexte präzise erkannt und gleichzeitig mit Icon-Begrenzungsrahmen kombiniert, um eine umfassende und lückenlose Informationsextraktion sicherzustellen.

• Strukturierte Integration: Symbole, Texte, Begrenzungsrahmen und semantische Tags werden zu einer geordneten Struktur zusammengeführt, ähnlich einem DOM-Baum, wodurch die Oberflächenelemente übersichtlich dargestellt werden.

Anwendungsszenarien von OmniParser V2:

• Automatisierung im Büro: Dokumente können automatisch formatiert, das Layout von Word-Dokumenten vereinheitlicht und Excel-Daten automatisch ausgefüllt werden.

• Automatisierte Tests: Im Bereich Softwaretests ermöglicht OmniParser V2 die automatisierte Testung von Benutzeroberflächen und steigert so die Effizienz und Genauigkeit von Tests.

• Automatisierte GUI-Tests: Bietet eine präzise Erkennung von Oberflächenelementen für Softwaretests und ermöglicht die automatisierte Ausführung von Testskripten, wodurch Personalkosten reduziert werden.

• Analyse der Benutzererfahrung: Durch die Analyse von Benutzeroberflächendaten können Unternehmen die Benutzererfahrung eingehend untersuchen und das Produktdesign optimieren.

• Entwicklung intelligenter Assistenten: Dank seiner strukturierten Ausgabe können Entwickler intelligentere Assistenten erstellen, die verschiedene Oberflächen verstehen und bedienen können, um komplexere Benutzeranweisungen umzusetzen.

• Bildung und Training: Einsatz in Bildungssoftware, um Schülern die Interaktion mit Inhalten über grafische Oberflächen zu ermöglichen.

Verwendung von OmniParser V2

1. Ressourcen beziehen

• Projektcode und Dokumentation aus dem GitHub-Repository (https://github.com/microsoft/OmniParser) abrufen.

• Vortrainierte Modelle aus der HuggingFace-Modellbibliothek (https://huggingface.co/microsoft/OmniParser) herunterladen.

2. Umgebungseinrichtung: Der Benutzer installiert OmniParser V2 in einer geeigneten Umgebung und stellt sicher, dass ein kompatibles LLM verfügbar ist.

3. Dateneingabe: Nach der Vorbereitung wird das zu analysierende UI-Bildschirmfoto in OmniParser V2 eingegeben. Beim Lesen aus einem lokalen Ordner ist darauf zu achten, dass das Format des Bildschirmfotos ein von OmniParser V2 unterstütztes gängiges Format wie PNG, JPEG usw. ist.

4. Überwachung des Analyseprozesses

• Während der Analyse kann der Fortschritt über eine Überwachungsoberfläche eingesehen werden, auf der unter anderem die Nummer des aktuell verarbeiteten Bildschirmfotos und die voraussichtliche verbleibende Zeit angezeigt werden.

• Es können auch Logdateien eingesehen werden (falls bereits erzeugt), in denen detaillierte Informationen zum Analyseprozess, einschließlich möglicher Fehlermeldungen, aufgezeichnet sind.

5. Datenverarbeitung

• Nach Abschluss der Analyse werden die von OmniParser V2 ausgegebenen Daten in der Regel in einem JSON-ähnlichen Format dargestellt.

• Die Analyseergebnisse werden je nach Anwendungsszenario weiterverarbeitet – etwa beim Einsatz für automatisierte Tests, wo die Informationen zu Position und Eigenschaften der ermittelten UI-Elemente zur Erstellung von Testskripten verwendet werden, oder bei der Dateneingabe, wo die Ergebnisse in eine Datenbank importiert werden müssen.

GitHub-Repository: https://github.com/microsoft/OmniParser

HuggingFace-Modellbibliothek: https://huggingface.co/microsoft/OmniParser