Mnn3dAvatar: Alibabas Open-Source-3D-Digital-Human-Framework – ein neues Werkzeug für Livestream-Commerce 61

Was ist Mnn3DAvatar?

Mnn3dAvatar ist eine von Alibaba Open-Source veröffentlichte 3D-Digital-Avatar-Architektur, die auf dem leichtgewichtigen MNN-Framework basiert. Sie kann in Echtzeit Gesichtsausdrücke erfassen und auf 3D-Virtuelle-Charaktere übertragen, wodurch diese lebendiger und greifbarer wirken. Selbst ohne komplexe Modellierungserfahrung können Entwickler schnell ansprechende 3D-Digital-Avatare erstellen.

Technische Grundlagen von Mnn3dAvatar

Mnn3dAvatar wurde auf dem MNN-Framework aufgebaut und kombiniert 3D-Gauß-Rekonstruktion mit KI-Stimmbiometrie-Steuerung und weiteren Technologien. Die KI ermöglicht hochpräzises Motion-Capturing für Gesichtsbewegungen sowie Echtzeit-Rendering und unterstützt多种驱动如语音、表情、手势的驱动.

Technische Highlights

• Echtzeit-Motion-Capturing: Deep Learning kann die Gesichtsausdrücke des Nutzers präzise erfassen und schnell auf 3D-Charaktere übertragen – geeignet für Szenarien wie Livestreaming und virtuelle Meetings.

• Leichtgewichtige Bereitstellung: Dank der Optimierung des MNN-Frameworks benötigt Mnn3dAvatar keine High-End-Hardware, um effizient auf zahlreichen Geräten zu laufen, was die Entwicklungshürde erheblich senkt.

• Multimodale Unterstützung: Neben dem Facial-Capturing werden auch Aufgaben wie Textgenerierung und Bildgenerierung unterstützt, was Entwicklern flexible Schnittstellen bietet.

• Open-Source-Ökosystem: Als Teil des Alibaba-Open-Source-Ökosystems enthält es umfangreiche Tools und APIs, die sich nahtlos in Anwendungen auf Plattformen wie Android und iOS einbinden lassen.

Anwendungsszenarien für Mnn3dAvatar

• Livestream-Shopping: Streamer können in Form eines 3D-Virtual-Charakters live gehen, um den Unterhaltungswert und die Interaktivität zu steigern und die Notwendigkeit persönlicher Auftritte zu reduzieren – ideal für E-Commerce-Plattformen, die sich differenzieren möchten.

• Virtuelle Präsentationen und Unterhaltung: Ermöglicht immersive visuelle Erlebnisse für virtuelle Idole, Spielfigur-Animationen und virtuelle Meetings.

• Bildung und Training: Bildungseinrichtungen können virtuelle Dozenten erstellen, um die Interaktivität und Attraktivität des Online-Unterrichts zu erhöhen.

Die Veröffentlichung von Mnn3dAvatar vervollständigt das MNN-Ökosystem. Seit der Open-Source-Veröffentlichung im Jahr 2019 wurde MNN bereits umfangreich innerhalb von Alibaba eingesetzt, unter anderem in über 70 Geschäftsszenarien wie Taobao, Tmall und DingTalk. Gleichzeitig hat Alibaba ein weiteres Open-Source-3D-Digital-Avatar-Generierungsmodell namens LAM (Live Avatar Model) veröffentlicht, das die schnelle Erstellung eines interaktiven 3D-Digital-Avatars aus einem einzigen Bild ermöglicht.

Open-Source-Adresse:

https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README_CN.md