HRAvatar: Methode zur Erzeugung hochwertiger 3D-Avatare aus monokularem Video 79

小编 · 2025-05-23

Mit dem schnellen Wachstum von Digital Humans, virtuellen Streamern und AR/VR ist die effiziente Erzeugung realistischer, animierbarer und neu beleuchtbarer 3D-Avatare zu einer zentralen Anforderung geworden. Die Erstellung hochrealistischer animierbarer Avatare aus monokularem Video bleibt jedoch eine Herausforderung. Bestehende Methoden auf Basis von 3D Gaussian Splatting (3DGS) weisen Einschränkungen bei der Rekonstruktionsqualität auf, etwa unzureichende Flexibilität der geometrischen Verformung, ungenaue Ausdrucksverfolgung und die Unfähigkeit, realistisches Relighting zu erreichen.

HRAvatar: Methode zur Erzeugung hochwertiger 3D-Avatare aus monokularem Video

Vor dem Hintergrund der rasanten Entwicklung in Bereichen wie digitalen Avataren, virtuellen Moderatoren und AR/VR ist die effiziente Erzeugung realistischer, animierbarer und neu beleuchtbarer 3D-Avatare zu einer zentralen Anforderung geworden. Die Erzeugung hochrealistischer, animierbarer Avatare aus monokularen Videos steht jedoch weiterhin vor zahlreichen Herausforderungen. Bestehende Methoden auf Basis von 3D Gaussian Splatting (3DGS) weisen Einschränkungen hinsichtlich der Rekonstruktionsqualität auf, wie etwa unzureichende Flexibilität der Geometrieverformung, ungenaue Ausdrucksverfolgung und die fehlende Fähigkeit zur realistischen Nachbeleuchtung.

Die Tsinghua-Universität hat in Zusammenarbeit mit dem IDEA-Team HRAvatar entwickelt – eine neuartige Technologie zur Erstellung hochwertiger, neu beleuchtbarer 3D-Avatare aus monokularen Videos. Sie nutzt lernbare Verformungsbasen und lineares Skinning, um personalisierte Geometrieverformungen zu ermöglichen, und verfügt über einen präzisen Ausdrucks-Encoder, der Tracking-Fehler reduziert und die Rekonstruktionsqualität verbessert. HRAvatar überzeugt durch Echtzeitfähigkeit und Detaildarstellung und wurde auf der CVPR2025-Konferenz vorgestellt. Experimente zeigen, dass es bestehenden Techniken in mehreren Bewertungsmetriken überlegen ist, eine Echtzeitleistung von etwa 155 FPS erreicht und zudem Nachbeleuchtung in neuen Lichtumgebungen unterstützt.

HRAvatar：单目生成高质量3D头像方法.jpg

Die Kerntechnologie von HRAvatar

Lernbare Verformungsbasen und lineares Skinning: Durch das adaptive Erlernen von Verformungsbasen und Skinning-Gewichten für jeden Punkt wird eine flexible Verformung der Gauss-Punkte von der Standardpose zu verschiedenen Ausdrücken und Posen ermöglicht. Damit wird das Problem gelöst, dass universelle Parametermodelle personalisierte Ausdrucksveränderungen nur schwer exakt erfassen können.
Präziser Ausdrucks-Encoder: Es wird ein End-to-End-Ausdrucks-Encoder eingeführt, der gemeinsam mit der 3D-Avatar-Rekonstruktion optimiert wird. Durch die Überwachung mit einem Gauss-Rekonstruktionsverlust werden Tracking-Fehler reduziert und die Rekonstruktionsqualität verbessert.
Aussehensmodellierung und physikalisches Shading: Das Avatar-Aussehen wird in Materialeigenschaften wie Albedo, Rauheit und Fresnel-Reflexion zerlegt. Eine Albedo-Pseudo-Prior wird eingeführt, um die Materialinformationen besser zu entkoppeln. Ein vereinfachtes BRDF-Physikmodell wird für das Shading verwendet, und die Split-Sum-Approximationstechnik wird zur Vorabberechnung der Umgebungslichtkarte eingesetzt, um hochwertiges, neu beleuchtbares Echtzeit-Rendering zu realisieren.

Die technischen Vorteile von HRAvatar

Hohe Rekonstruktionsqualität: HRAvatar übertrifft bestehende Methoden in allen Bewertungsmetriken, insbesondere beim LPIPS, und rekonstruierte Avatare weisen mehr Details auf.
Gute Echtzeitleistung: Die Render-Geschwindigkeit erreicht etwa 155 FPS und erfüllt damit die Echtzeitanforderungen.
Die mit HRAvatar rekonstruierten Avatare können nicht nur gesteuert, sondern auch unter neuen Umgebungslichtkarten nachbeleuchtet oder einfachen Materialbearbeitungen unterzogen werden. Sie eignen sich für Bereiche wie Film, Spiele, immersive Konferenzen sowie AR/VR.