TaoAvatar: Alibabas hochauflösendes und leichtgewichtiges Full-Body-Interaktiv-Digitalhuman-Projekt 203

Was ist TaoAvatar?

TaoAvatar ist eine hochrealistische, leichtgewichtige Ganzkörper-Interaktionstechnologie für digitale Avatare, die auf der 3D-Gaussian-Splatting-Technologie (3DGS) basiert. Sie erzeugt realistische Ganzkörper-Digital-Avatare, indem personalisierte parametrische Templates für bekleidete Menschen erstellt und Gaussian-Punkte an diese Templates gebunden werden, um das Erscheinungsbild darzustellen. Der Hauptvorteil von TaoAvatar liegt darin, dass es in Echtzeit auf mobilen Geräten und AR-Geräten laufen kann und gleichzeitig hochauflösendes Rendering bei geringem Speicherbedarf bietet.

Funktionen von TaoAvatar

• Hochrealistisches Rendering: TaoAvatar kann realistische 3D-Ganzkörper-Digital-Avatare erzeugen, unterstützt hochauflösendes Rendering und benötigt gleichzeitig nur wenig Speicherplatz.

• Echtzeit-Interaktion: Die Technologie läuft in Echtzeit auf verschiedenen mobilen und AR-Geräten, unterstützt Rendering mit hoher Bildrate von 90 FPS und eignet sich für hochauflösende Stereo-Geräte wie Apple Vision Pro.

• Mehrsignalgesteuert: TaoAvatar kann durch verschiedene Signale gesteuert werden, einschließlich Gesichtsausdrücken, Gesten und Körperhaltungen, und ermöglicht so ein vielfältiges interaktives Erlebnis.

• Leichtgewichtige Architektur: Durch das „Backen" komplexer nicht-rigider Verformungen in ein leichtgewichtiges MLP-Netzwerk in Kombination mit Blend-Shape-Detailkompensation erreicht TaoAvatar eine hohe Rendering-Qualität bei deutlich gesteigerter Laufzeiteffizienz.

Anwendungen von TaoAvatar

• E-Commerce-Livestreaming: TaoAvatar kann zur Erstellung realistischer virtueller Moderatoren eingesetzt werden.

• Holografische Kommunikation: In der Fernkommunikation kann TaoAvatar realistische virtuelle Avatare erzeugen.

• Virtuelle Unterhaltung: In Spielen und VR-Anwendungen kann TaoAvatar personalisierte virtuelle Charaktere erstellen.

• Mobile Geräte und AR-Geräte: TaoAvatar unterstützt den Betrieb auf einer Vielzahl mobiler und AR-Geräte, wie Android, MacBook und Apple Vision Pro.

So verwenden Sie TaoAvatar

1. Datenaufbereitung: Es werden Multi-View-RGB-Video-Sequenzen und die zugehörigen SMPLX-Registrierungsinformationen benötigt.

2. Template-Erstellung: Durch das Binden von Gaussian-Punkten an das SMPLX++-Template wird ein personalisiertes parametrisches Template für bekleidete Menschen erstellt.

3. Training und Optimierung: Vortraining mit dem StyleUnet-Netzwerk, anschließend werden nicht-rigide Verformungen mithilfe von Knowledge-Distillation-Techniken in das leichtgewichtige MLP-Netzwerk „gebacken".

4. Bereitstellung und Ausführung: Das optimierte Modell wird auf dem Zielgerät bereitgestellt und unterstützt Echtzeit-Rendering und Interaktion.

Verwandte Links

Projekt: https://pixelai-team.github.io/TaoAvatar/

Paper: https://arxiv.org/pdf/2503.17032

Modell: https://huggingface.co/datasets/PixelAI-Team/TalkBody4D