Insert Anything: framework de código abierto para edición de imágenes con cambio de rostro, ropa y más 70

Introducción a Insert Anything

Insert Anything es un marco unificado de inserción de imágenes propuesto conjuntamente por la Universidad de Zhejiang, la Universidad de Harvard y la Nanyang Technological University, que permite integrar de forma fluida objetos de imágenes de referencia en escenas objetivo y admite una amplia variedad de escenarios de aplicación reales, como la creación artística, el intercambio de rostros realista, la composición de escenas cinematográficas, la prueba virtual de ropa, la personalización de accesorios y la sustitución de utilería digital.

Principio técnico de Insert Anything

1. Conjunto de datos AnyInsertion

• Escala y contenido: el marco se basa en un conjunto de datos AnyInsertion que contiene 120.000 pares de prompt-imagen y abarca diversas tareas como la inserción de personas, objetos y ropa.

• Modos de control múltiples: el conjunto de datos admite dos modos de control, a saber, el control por máscara (58K pares) y el control por texto (101K pares), proporcionando así abundantes muestras de entrenamiento para el modelo.

2. Diffusion Transformer (DiT)

• Mecanismo de atención multimodal: Insert Anything aprovecha el mecanismo de atención multimodal de DiT para admitir edición guiada tanto por máscara como por texto. Este mecanismo procesa por separado la entrada visual y la descripción textual a través de la rama de imagen y la rama de texto, y luego fusiona esta información mediante atención multimodal.

• Rama de imagen: procesa la imagen de referencia, la imagen fuente y la máscara, extrayendo características visuales y concatenándolas con el ruido.

• Rama de texto: codifica la descripción textual para proporcionar guía semántica.

3. Mecanismo de edición contextual

• Estrategia de提示 de díptico y tríptico:

• Díptico con提示 de máscara: a la izquierda, la imagen de referencia; a la derecha, la imagen objetivo con la máscara.

• Tríptico con提示 de texto: a la izquierda, la imagen de referencia; en el centro, la imagen fuente; a la derecha, el resultado generado a partir del texto.

• Función: este mecanismo trata la imagen de referencia como información contextual y, mediante una interacción implícita, garantiza la coherencia visual del elemento insertado con la escena objetivo, al mismo tiempo que preserva sus rasgos distintivos.

Ventajas

• Versatilidad: un único modelo es capaz de gestionar múltiples tareas de inserción, lo que evita entrenar un modelo aparte para cada tarea.

• Flexibilidad: admite dos modos de control, por máscara y por texto, satisfaciendo las necesidades de edición de distintos usuarios.

• Coherencia visual: gracias al mecanismo de edición contextual, garantiza una integración natural del elemento insertado en la escena objetivo.

Escenarios de aplicación de Insert Anything

• Creación artística: insertar elementos artísticos de forma fluida en diferentes fondos.

• Publicidad comercial: insertar imágenes de productos en escenas publicitarias.

• Creación de cultura pop: insertar elementos de cultura pop en escenas relacionadas.

Enlaces del proyecto

Página principal del proyecto:https://song-wensong.github.io/insert-anything/

Artículo:https://arxiv.org/abs/2504.15009

Github:https://github.com/song-wensong/insert-anything