DreamBooth: tecnología de texto a imagen personalizada 101

DreamBooth es una técnica personalizada de texto a imagen desarrollada por Google Research y la Universidad de Boston en 2022. Su objetivo es permitir que un modelo de difusión preentrenado memorice un objeto específico (como una persona, mascota, artículo o un estilo particular) con muy pocas muestras, para luego generar imágenes en alta resolución de ese objeto en diversas escenas y estilos. Inicialmente se presentó junto con el modelo Imagen de Google, y más tarde se adaptó a modelos como Stable Diffusion, convirtiéndose en un método habitual de generación personalizada.

Cómo funciona DreamBooth

• Realiza un ajuste fino con muy pocas imágenes. Normalmente solo hacen falta 3–5 imágenes del objeto, acompañadas de un prompt con una "palabra única + nombre de categoría", por ejemplo "a photo of [V] dog", para vincular el nuevo objeto al espacio semántico del modelo.

• Durante el entrenamiento se añade una pérdida de preservación del prior específico de la clase, para que el modelo mantenga la diversidad original de esa categoría. Así se evita el sobreajuste y el "language drift", y permite generar el objeto en distintas situaciones.

• Después se hace un ajuste fino de superresolución. Primero se generan imágenes de baja resolución y luego, mediante un módulo SR, se va aumentando la claridad paso a paso, siguiendo el flujo habitual 64×64 → 256×256 → 1024×1024, para conseguir detalles y texturas más realistas.

Pasos para usar DreamBooth

1. Consigue primero 3–5 imágenes en alta resolución del objeto; mejor si son desde distintos ángulos.

2. Asigna al objeto una palabra poco común y escribe una sencilla descripción de categoría, por ejemplo "a photo of sks dog".

3. Elige una tasa de aprendizaje adecuada y un conjunto de imágenes de referencia, y comienza el ajuste fino. Con una sola GPU, necesitas 8–24 GB de VRAM y entre 1 y 2 horas.

4. Una vez entrenado, introduce un prompt como "sks dog wearing spacesuit on Mars" y obtendrás una imagen de tu perro Corgi en Marte.

Características principales de DreamBooth

1. Con muy pocas muestras se nota un cambio claro en los resultados.

2. Se puede integrar en distintos modelos de difusión de texto a imagen, como Stable Diffusion.

3. La comunidad ofrece pesos ya entrenados, tutoriales en Colab y todo tipo de herramientas con interfaz gráfica, por lo que resulta fácil de aprender y de usar.

Ventajas y problemas de DreamBooth

Ventajas:

• Solo necesita unas pocas imágenes, sin pares de texto e imagen.

• Captura detalles individuales como estampados, rasgos faciales o logotipos de productos.

• Genera imágenes de alta calidad; gracias a la información rica de Stable Diffusion, los detalles son muy realistas.

Problemas:

• Requiere mucha VRAM: el ajuste fino completo necesita entre 15 y 24 GB; usando LoRA se puede reducir a 8–12 GB.

• Tiende al sobreajuste. Si no se controla bien, el modelo puede reconocer únicamente el objeto con el que fue entrenado y degradarse al generar otros objetos similares.

• El entrenamiento es más lento que el de LoRA: LoRA solo tarda 30–60 minutos, mientras que el ajuste fino completo de DreamBooth lleva 1–2 horas.

Escenarios habituales de DreamBooth

• Crear avatares virtuales de personas o mascotas e introducirte a ti mismo, o a tu perro o gato, en escenas de videojuegos o películas.

• Generar imágenes personalizadas de productos: sube fotos del producto y obtén imágenes publicitarias en distintos estilos de una sola vez.

• Diseño de personajes: los estudios de cine o videojuegos pueden producir rápidamente distintas poses e iluminaciones de un mismo personaje.

Aspectos a tener en cuenta

• El entrenamiento consume mucha VRAM y puede resultar caro con una GPU normal. Usar GPUs en la nube o métodos de optimización puede ahorrar dinero.

• Lo ideal es usar entre 3 y 10 imágenes, desde varios ángulos, con fondos diferentes y bien nítidas, para conseguir generaciones más estables y fieles.

En resumidas cuentas, DreamBooth permite que un modelo grande memorice a un sujeto concreto. Es un método de generación personalizada muy representativo dentro de la AIGC y funciona muy bien aplicado al anime.