DemoFusion : outil IA open-source et gratuit pour le repeint d'images 109

DemoFusion, un IA open source outil de ré-illustration et d'amélioration d'images, un outil d'amélioration de génération d'images à ultra-haute résolution qui, grâce à la dernière technologie BSR Gan, peut augmenter la résolution des images générées de 4 fois, 16 fois, voire plus, tout en corrigeant et en améliorant les détails de l'image.

Adresse du projet Demofusion : https://github.com/PRIS-CV/DemoFusion

Adresse d'essai de Demofusion : https://huggingface.co/spaces/radames/Enhance-This-DemoFusion-SDXL

DemoFusion a été développé par l'institut de recherche en intelligence artificielle de l'Université de Surrey. Il permet aux utilisateurs de générer des images de base à l'aide de modèles d'intelligence artificielle open source disponibles gratuitement (tels que Stable Diffusion), puis de les améliorer en ajoutant davantage de détails et de fonctionnalités à une résolution plus élevée. Tout PC de jeu milieu de gamme ou Mac M1 fournit la puissance de calcul nécessaire.

Pour obtenir des résultats haute résolution avec des outils d'IA open source ordinaires, l'équipe a d'abord généré des images basse résolution, puis les a améliorées. Il ne s'agit pas d'une méthode d'agrandissement, mais d'un processus qui consiste à traiter l'image sous forme de correctifs pour extraire davantage de détails du modèle d'IA, augmentant ainsi les détails et la résolution d'au moins 16 fois.

Caractéristiques et fonctionnalités de DemoFusion :

Notre framework DemoFusion étend de manière transparente les modèles GenAI open source en adoptant une surfréquençage progressif, des résidus ignorés et des mécanismes d'échantillonnage étendu pour atteindre une génération d'images à plus haute résolution.

1, Génération d'images haute résolution : DemoFusion se concentre sur l'exploitation des modèles de diffusion latente (LDM) pour générer des images à plus haute résolution, dépassant les limites des techniques traditionnelles de génération d'images.

2, Suréchantillonnage progressif : ce framework génère des images plus nettes et plus détaillées en augmentant progressivement la résolution de l'image. Cette approche progressive permet un contrôle plus fin de la qualité de l'image. Il augmentera progressivement la netteté de l'image, ce qui vous permettra de voir d'abord un effet approximatif, puis de devenir progressivement plus net.

3, Mécanismes de résidus ignorés et d'échantillonnage étendu : DemoFusion utilise ces techniques avancées pour améliorer les détails locaux et la cohérence globale de l'image, générant ainsi des images plus naturelles et réalistes.

4, Intégration avec ControlNet : peut être intégré de manière transparente dans diverses applications basées sur LDM, par exemple combiné avec ControlNet pour réaliser une génération d'images haute résolution contrôlable.

5, Agrandissement d'images réelles : il est également capable d'agrandir des images réelles, en remplaçant la sortie de l'étape initiale par une représentation d'image réelle encodée, permettant ainsi un agrandissement haute résolution de l'image.

6, Aucune mémoire massive ni réglage nécessaire : DemoFusion est conçu pour être à la fois efficace et facile à utiliser, ne nécessitant pas de ressources mémoire importantes ni de processus de réglage complexe.

Il reste à voir si DemoFusion obtiendra un essor suffisant pour rivaliser avec des géants comme DALL-E d'OpenAI, mais sa création constitue une étape importante vers l'ouverture au public et à la communauté technologique au sens large du potentiel de génération d'images par IA. Il ne nécessite pas d'entraînement supplémentaire, peut être directement appliqué aux modèles existants et offre une amélioration significative de la résolution.