Personalized Restoration : restauration faciale précise et édition personnalisée 131

Personalized Restoration, une technologie de restauration précise d'images faciales et d'édition personnalisée. Personalized Restoration peut non seulement restaurer les détails des images endommagées, mais aussi capturer et reproduire avec précision les caractéristiques faciales uniques d'une personne, garantissant que l'image restaurée est à la fois claire et naturelle, tout en restant fidèle à l'apparence d'origine. Il prend également en charge le deepfake.

Personalized Restoration utilise une méthode avancée de réglage à double axe — combinant le guidage textuel et le réglage du modèle — pour garantir que l'image restaurée est à la fois fidèle à l'apparence d'origine et qu'elle préserve l'identité unique de la personne.

De plus, Personalized Restoration prend également en charge l'édition guidée par texte, permettant aux utilisateurs de modifier des détails spécifiques de l'image restaurée à l'aide de simples invites textuelles.

Fonctionnalités clés de Personalized Restoration :

• Utilisation d'images de référence pour personnaliser le prior de diffusion

• Préservation des informations d'identité faciale dans le cadre de débruitage

• Préservation des attributs visuels des images dégradées

Scénarios d'utilisation de Personalized Restoration :

• Restaurer des portraits en personnalisant le modèle de diffusion à partir de quelques photos de référence d'une célébrité

• Réaliser des effets d'échange de visages en utilisant différents modèles personnalisés

• Réaliser une édition guidée par texte de modèles personnalisés en combinaison avec des invites textuelles

Fonctionnalités et rôles principaux de Personalized Restoration :

Supposons que vous ayez une vieille photo floue de votre grand-père lorsqu'il était jeune. Cette photo est très importante, mais en raison de son ancienneté, elle est très floue, les couleurs sont passées et les détails du visage sont à peine reconnaissables. Vous souhaitez restaurer cette photo pour qu'elle paraisse plus nette et plus proche de son état d'origine.

Les techniques traditionnelles de restauration d'images peuvent rendre la photo plus nette, mais elles risquent de perdre les caractéristiques faciales uniques de votre grand-père, comme son sourire particulier ou la forme de ses yeux. Cela est dû au fait que les techniques traditionnelles reposent généralement sur des modèles d'images généralistes, qui ne sont pas spécifiquement adaptés à l'apparence unique de votre grand-père.

Processus de réglage de Personalized Restoration :

1. Phase de réglage guidée par le texte :

Supposons que vous disposiez également de quelques photos nettes de votre grand-père datant d'autres périodes. Ces photos, accompagnées de textes descriptifs (tels que « jeune grand-père, portant des lunettes, avec un sourire particulier »), sont utilisées pour affiner le modèle génératif G. Ce processus d'affinage permet au modèle de comprendre et d'apprendre les caractéristiques faciales uniques de votre grand-père, comme la forme de ses yeux, la manière dont il sourit, etc.

2. Phase de réglage basée sur le modèle :

Ensuite, le réseau de guidage E est ajusté sur la base du modèle génératif G affiné et figé. L'objectif de cette étape est de permettre au réseau de guidage, lors de la restauration de la photo floue, de prendre en compte à la fois les caractéristiques personnalisées (comme le sourire du grand-père) et d'autres aspects de l'image (comme les couleurs et la netteté).

Le résultat final : la photo restaurée devient non seulement plus nette, mais les couleurs et les détails sont également améliorés.Plus important encore, cette photo reflète fidèlement les caractéristiques faciales uniques de votre grand-père, permettant de le reconnaître au premier coup d'œil.

Grâce à cette méthode de réglage à double axe, ce système est capable de restaurer des images naturelles et de haute qualité tout en préservant les caractéristiques uniques de la personne, donnant ainsi une nouvelle vie aux vieilles photos et leur conférant une valeur mémorielle personnelle accrue.

Il prend également en charge la fonctionnalité d'échange de visages, permettant d'appliquer les caractéristiques d'une personne à d'autres images pour créer une toute nouvelle expérience visuelle. Par exemple, vous pouvez transférer les caractéristiques faciales d'une personne sur la photo d'une autre personne.

De plus, il prend également en charge l'édition guidée par texte, permettant aux utilisateurs d'utiliser des modificateurs d'invite (tels que « souriant » et « yeux bleus ») pour effectuer des éditions pertinentes en même temps que la restauration.