Magma: Microsofts multimodales KI-Agenten-Foundation-Modell 189

Was ist Magma?

Magma ist ein von Microsoft entwickeltes multimodales ai-Agent-Grundmodell, das komplexe Interaktionen in virtuellen und realen Umgebungen verarbeiten kann und Aufgaben wie Bilduntertitelung und Frage-Antwort-Systeme, Video-Untertitelung und Frage-Antwort-Systeme, UI-Navigation sowie Roboter-Steuerung bewältigt.

Funktionsmerkmale von Magma

• Multimodale Fähigkeiten: Unterstützt Aufgaben wie Bilduntertitelung und Frage-Antwort-Systeme, Video-Untertitelung und Frage-Antwort-Systeme, UI-Navigation und Robotersteuerung.

• Interaktion mit der digitalen und physischen Welt: Kann Aufgaben in virtuellen und realen Umgebungen verarbeiten.

• Vielseitigkeit: Ein einzelnes Modell verfügt über universelle Bild- und Videoverstehensfähigkeiten und kann gleichzeitig zielgerichtete visuelle Pläne und Aktionen generieren.

• Fortschrittliche Leistung: Hervorragende Leistung bei multimodalen Aufgaben, insbesondere im Bereich räumliches Verständnis und Schlussfolgerung.

• Skalierbare Vortrainingsstrategie: Kann aus unmarkierten Videos lernen und verfügt über starke Generalisierungsfähigkeiten.

Technische Prinzipien von Magma

• Multimodales Vortraining: Kombiniert Bild-, Video- und Aktionsdaten in einem einheitlichen Framework für umfangreiches Vortraining und lernt Verbindungen über verschiedene Modalitäten hinweg.

• Set-of-Mark (SoM): Markiert steuerbare Objekte in Bildern, um dem Modell die Umsetzung von Aktionen zu ermöglichen.

• Trace-of-Mark (ToM): Markiert die Bewegungstrajektorien von Objekten in Videos und verbessert das Verständnis zeitlicher Dynamiken.

• Verbindung von Vision und Sprache: Verwendet Faltungsnetzwerke, um visuelle Informationen als Token-Sequenzen zu kodieren, kombiniert sie mit Sprachmodellen und generiert Aktionen oder Sprachbeschreibungen.

• Generalisierung und Feinabstimmung: Das vortrainierte Modell verfügt über Zero-Shot-Generalisierungsfähigkeiten und kann durch Feinabstimmung weiter optimiert werden.

• Aufgabenübergreifende Anpassung: Geeignet für verschiedene Aufgaben (wie UI-Navigation, Robotersteuerung, Bild- und Videoverstehen) und zeigt starke Generalisierungsfähigkeiten.

Installation und Nutzung

Projekt klonen:

git clone https://github.com/microsoft/Magma.git
cd Magma

Abhängigkeiten installieren:

conda create -n magma python=3.10 -y
conda activate magma
pip install --upgrade pip
pip install -e .

Inferenzbeispiel

from PIL import Image
import torch
from transformers import AutoModelForCausalLM, AutoProcessor
model = AutoModelForCausalLM.from_pretrained("microsoft/Magma-8B", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("microsoft/Magma-8B", trust_remote_code=True)
model.to("cuda")
image = Image.open("example.jpg").convert("RGB")
convs = [
    {"role": "system", "content": "You are an agent that can see, talk and act."},
    {"role": "user", "content": "\nWhat is in the image?"}
]
prompt = processor.tokenizer.apply_chat_template(convs, tokenize=False, add_generation_prompt=True)
inputs = processor(images=[image], texts=prompt, return_tensors="pt").to("cuda")
with torch.inference_mode():
    generate_ids = model.generate(**inputs)
response = processor.decode(generate_ids[0], skip_special_tokens=True).strip()
print(response)

Anwendungsbereiche von Magma

• Intelligente Überwachung und Sicherheit: Echtzeitanalyse von Videostreams, Vorhersage von Verhalten und Verbesserung der Sicherheitsüberwachung.

• Autonomes Fahren: Verarbeitung multimodaler Daten zur Unterstützung autonomer Fahrsysteme.

• Robotersteuerung: Anleitung von Robotern bei der Bewältigung komplexer Aufgaben und Anpassung an verschiedene Hardware.

• UI-Navigation und Interaktion: Effiziente Durchführung mehrstufiger Operationen auf Webseiten oder Geräteoberflächen.

• Bildung und personalisiertes Lernen: Analyse der Schülerleistung und Bereitstellung individueller Lehrmethoden.

• Medizinische Diagnose: Kombination von Bildgebung und Krankengeschichte zur Unterstützung von Ärzten bei der Erstellung von Diagnose- und Behandlungsplänen.

• Content-Erstellung: Kombination von Bilderzeugung und Texterstellung zur Bereitstellung kreativer Inspiration.

• Intelligenter Assistent: Bietet Aufgabennavigation für virtuelle Assistenten und leitet komplexe Operationen an.

• Videoanalyse und Vorhersage: Beschreibung von Videoinhalten und Vorhersage der nächsten Aktion.

• Smart Home und Automatisierung: Hilft Haushaltsrobotern beim Erlernen neuer Aufgaben und verbessert das Automatisierungsniveau.

Magma GitHub-Repository:https://github.com/microsoft/Magma

Magma Projekt-Webseite:https://microsoft.github.io/Magma/

Magma Arxiv-Paper:https://www.arxiv.org/pdf/2502.13130