Seedream 3.0: el modelo de generación de imágenes bilingüe de alto rendimiento de ByteDance 235

¿Qué es Seedream 3.0?

Seedream 3.0 es un modelo básico de generación de imágenes nativo de alta resolución y bilingüe (chino e inglés) publicado recientemente por el equipo Seed de ByteDance. Puede generar imágenes con resolución 2K en solo 3 segundos y admite la composición tipográfica de fuentes pequeñas y texto multilínea, con una tasa de disponibilidad de caracteres en chino e inglés del 94 %. Seedream 3.0 ya está disponible en sus propias plataformas como Jimeng (即梦) y Doubao (豆包), y es adecuado para múltiples escenarios como el diseño de carteles, la creación publicitaria, el diseño gráfico y la generación de escenas para cine y televisión.

Mejoras de rendimiento

Generación de alta resolución: Seedream 3.0 puede generar imágenes nativas con resolución 2K de forma directa, sin necesidad de posprocesamiento, satisfaciendo diversas necesidades visuales, desde pantallas de teléfonos móviles hasta carteles de gran tamaño.

Generación ultrarrápida: la velocidad de generación de imágenes de este modelo es extremadamente rápida: solo se necesitan aproximadamente 3 segundos para generar una imagen de alta calidad con resolución 1K, una ventaja evidente frente a los más de 10 segundos (o incluso más) de modelos similares del sector, y frente a los 77 segundos de media del anterior modelo SOTA de texto a imagen, GPT-4o.

Capacidad de procesamiento de texto

Generación de alta fidelidad de fuentes pequeñas: resuelve el problema del sector en la generación de fuentes pequeñas, siendo capaz de generar contenido en letra pequeña de manera clara y precisa.

Composición tipográfica multilínea: destaca en la composición tipográfica multilínea, mejorando la naturalidad del diseño del texto y su coherencia semántica.

Soporte bilingüe: ofrece un fuerte soporte para chino e inglés, alcanzando una disponibilidad de texto del 94 % tanto para caracteres chinos como ingleses, resolviendo así básicamente el problema de la dependencia del renderizado de texto en la generación de imágenes.

Calidad y estética de la imagen

Optimización de la estética y la estructura: las imágenes generadas presentan una mejora adicional en estética y estructura, con mayor cumplimiento de las instrucciones e imágenes con mayor poder de comunicación, capaces de generar composiciones y combinaciones de colores de alta calidad.

Generación realista de retratos: sobresale en el realismo de los retratos, pudiendo generar texturas de piel con características reales como arrugas, vello facial y cicatrices, con un nivel de realismo cercano al de la fotografía profesional.

Innovación técnica

Optimización de datos: ampliación del conjunto de datos mediante la identificación de defectos en las imágenes, adoptando una estrategia de muestreo conjunto visión-semántica y un sistema propio de recuperación imagen-texto para mejorar la distribución de los datos.

Preentrenamiento y postentrenamiento: en la fase de preentrenamiento, se utiliza la codificación rotativa posicional cross-modal para reforzar la renderización de texto, mediante un entrenamiento mixto multirresolución se logra la salida directa de imágenes 2K, y se adopta una nueva función de pérdida para mejorar el efecto del entrenamiento; en la fase de postentrenamiento RLHF, se diseñan descripciones de estética multigrupal, se amplía el ámbito del modelo de recompensa y se mejora el rendimiento del modelo.

Aceleración de la inferencia: mediante la predicción de ruido con consistencia y un proceso de muestreo estable, y aprovechando el muestreo de pasos temporales importantes para acelerar el entrenamiento de destilación del modelo, se logra que la generación de imágenes con resolución 1K de extremo a extremo requiera solo 3 segundos.

Escenarios de aplicación

• Diseño profesional de carteles: resuelve los problemas de composición tipográfica multilínea y generación de alta fidelidad de fuentes pequeñas

• Producción de efectos especiales para cine y televisión: soporta la generación de detalles en la piel de los personajes (como arrugas, vello, etc.)

• Creación de arte digital: puede generar obras de arte con colores precisos y texturas enriquecidas

Introducción detallada:https://team.doubao.com/zh/tech/seedream3_0