Seedream 3.0 : le modèle de génération d'images bilingue haute performance de ByteDance 232

Qu'est-ce que Seedream 3.0 ?

Seedream 3.0 est un modèle de base de génération d'images en haute résolution native, prenant en charge le chinois et l'anglais, récemment publié par l'équipe Seed de ByteDance. Il peut générer des images en résolution 2K en seulement 3 secondes, et prend en charge la mise en page de petites polices et de textes multilignes, avec un taux de disponibilité des caractères chinois et anglais atteignant 94 %. Seedream 3.0 est déjà disponible sur ses propres plateformes telles que Jimeng et Doubao, et convient à de nombreux scénarios tels que la conception d'affiches, la création publicitaire, le graphisme et la génération de scènes cinématographiques.

Améliorations des performances

Génération haute résolution : Seedream 3.0 peut produire nativement des images en résolution 2K sans post-traitement, répondant ainsi à divers besoins visuels, des écrans de téléphone aux affiches grand format.

Génération ultra-rapide : ce modèle offre une vitesse de génération extrêmement rapide, produisant des images de haute qualité en résolution 1K en seulement environ 3 secondes. Par rapport à plus de 10 secondes, voire davantage, pour les modèles similaires du secteur, ainsi qu'aux 77 secondes en moyenne du précédent modèle SOTA de texte vers image GPT-4o, l'avantage est net.

Capacités de traitement de texte

Génération haute fidélité des petites polices : il résout le problème épineux du secteur concernant la génération de petites polices, capable de produire un contenu clair et précis en petits caractères.

Mise en page de textes multilignes : excellentes performances dans la mise en page de textes multilignes, améliorant le naturel de la disposition et la cohérence sémantique du texte.

Prise en charge bilingue : prise en charge solide du chinois et de l'anglais, avec un taux de disponibilité du texte atteignant 94 % pour les caractères chinois comme anglais, résolvant ainsi en grande partie les contraintes du rendu de texte dans la génération d'images.

Qualité et esthétique des images

Optimisation de l'esthétique et de la structure : les images générées présentent une esthétique et une structure encore améliorées, un meilleur respect des instructions, un rendu plus expressif, ainsi que des compositions et des associations de couleurs de haute qualité.

Génération de portraits réalistes : performances remarquables en matière de réalisme des portraits, capable de générer des textures de peau avec des caractéristiques authentiques telles que des rides, du duvet et des cicatrices, avec un réalisme proche de celui de la photographie professionnelle.

Innovations technologiques

Optimisation des données : enrichissement du jeu de données par la détection des défauts d'image, adoption d'une stratégie d'échantillonnage协同 en sémantique visuelle et amélioration de la distribution des données grâce à un système de recherche image-texte développé en interne.

Pré-entraînement et post-entraînement : lors de la phase de pré-entraînement, utilisation de l'encodage positionnel rotatif cross-modal pour renforcer les capacités de rendu de texte, recours à un entraînement mixte multi-résolutions pour permettre la sortie directe d'images en 2K, et adoption d'une nouvelle fonction de perte pour améliorer l'efficacité de l'entraînement ; lors de la phase de post-entraînement RLHF, conception de descriptions d'esthétique à plusieurs granularités, extension de l'échelle du modèle de récompense et amélioration des performances du modèle.

Accélération de l'inférence : adoption de la prédiction de bruit一致性 et d'un processus d'échantillonnage fluide, exploitation de l'échantillonnage des pas de temps importants pour accélérer la distillation du modèle, permettant une génération en résolution 1K de bout en bout en seulement 3 secondes.

Scénarios d'application

• Conception d'affiches professionnelle : résolution des problèmes de mise en page de textes multilignes et de génération haute fidélité de petits caractères

• Production d'effets spéciaux cinématographiques : prise en charge de la génération de détails de peau des personnages (rides, poils, etc.)

• Création d'art numérique : génération d'œuvres artistiques aux couleurs précises et aux textures riches

Présentation détaillée :https://team.doubao.com/zh/tech/seedream3_0