MAGREF: la herramienta de generación de vídeo multi-sujeto de ByteDance 67

小编 · 2025-06-14

MAGREF es una herramienta de generación de vídeo multi-sujeto publicada por ByteDance. A partir de una sola imagen de referencia, puede generar vídeos altamente coherentes tanto con un sujeto como con múltiples sujetos. Gracias a sus mecanismos de guía por máscara y concatenación de canales, resuelve problemas comunes de la generación de vídeo tradicional como la confusión de identidad y el movimiento descoordinado. MAGREF también permite múltiples combinaciones de personas, objetos y fondos, garantizando estabilidad de identidad y coherencia estructural en los vídeos generados.

MAGREF: la herramienta de generación de vídeo multi-sujeto de ByteDance

MAGREF es una herramienta de generación de vídeo con múltiples sujetos lanzada por ByteDance, que permite a los usuarios generar vídeos con alta consistencia a partir de una sola imagen de referencia, abarcando tanto escenas con un solo sujeto como con varios. Mediante el enmascaramiento guiado y el mecanismo de concatenación de canales, resuelve problemas habituales en la generación de vídeo tradicional, como la confusión de identidades y la descoordinación de movimientos. MAGREF también permite múltiples combinaciones de personajes, objetos y fondos, garantizando la estabilidad de identidad y la coherencia estructural del vídeo generado.

MAGREF：字节跳动发布的一款多主体视频生成神器.webp

Funciones principales

Generación con consistencia multi-sujeto: con solo una imagen de referencia, se pueden generar vídeos de personajes u objetos altamente consistentes, admitiendo a varias personas en el mismo encuadre sin que sus rostros se confundan. Por ejemplo, puedes usarlo para generar un vídeo de Einstein montando en motocicleta, o de Newton escribiendo con un pincel. El rostro y el atuendo de los personajes se mantienen coherentes en cada fotograma sin volverse irreconocibles.
Procesamiento多样 de imágenes de referencia: mediante el enmascaramiento guiado y el mecanismo de concatenación de canales, puede procesar多种 imágenes de referencia sin aumentar la complejidad del modelo. Ya sea una actuación de una sola persona, interacción entre varias personas, o la combinación de personajes, objetos y fondos, es capaz de generar vídeos estables y coordinados.
Entrada y generación multimodales: según diferentes indicaciones de texto, puede lograr "mil rostros a partir de una imagen". Independientemente de quién sea el sujeto, de qué época provenga o de si su estilo es abstracto, puede还原 con precisión sus rasgos y generar distintas acciones, entornos y efectos de luz según las instrucciones textuales. Por ejemplo, puedes introducir un retrato, una imagen de un objeto y una imagen de fondo, junto con una descripción, y generará un vídeo completo que integra estos tres tipos de elementos, con interacciones naturales entre personajes y objetos y una escena sin違和感.

Implementación técnica

Flujo de procesamiento de datos: adopta un flujo de procesamiento de datos en tres etapas para construir muestras de entrenamiento de vídeo de alta calidad y estructuralmente claras. La primera etapa consiste en segmentar el vídeo original en fragmentos semánticamente consistentes, filtrar muestras de baja calidad y generar texto estructurado para cada fragmento; la segunda etapa identifica los objetos clave del vídeo mediante extracción de etiquetas y segmentación semántica, y los somete a un posprocesamiento para obtener máscaras precisas; la tercera etapa detecta y asigna las identidades de los personajes del vídeo, y selecciona imágenes faciales de alta calidad para construir las imágenes de referencia, garantizando la consistencia de identidad durante el entrenamiento.

Mecanismos clave

Máscara dinámica con percepción de区域: basado en el mecanismo de atención del aprendizaje profundo, dota al modelo de capacidad de "percepción visual dinámica". Mediante algoritmos de segmentación semántica identifica con precisión las regiones clave del vídeo y ajusta en tiempo real los pesos de máscara de los distintos sujetos según las indicaciones de entrada. De este modo, independientemente del número y el orden de las imágenes de referencia, el sistema mantiene la coherencia estructural, sin confusión de identidades ni relaciones ambiguas.
Concatenación de canales a nivel de píxel: en la tecnología subyacente de generación de imágenes, fusiona la información en la dimensión de canal (canales RGB + canales de características). Extrae las características de apariencia de la imagen de referencia mediante una red neuronal convolucional y las concatena a nivel de canal con los mapas de características de la escena generada, garantizando que detalles como el tono de piel y el peinado coincidan en gran medida con la imagen de referencia. Además, mediante operaciones de normalización, equilibra los parámetros de iluminación de distintas escenas para evitar que el sujeto y el fondo parezcan desconectados por diferencias de brillo. También admite la introducción simultánea de retratos de personajes, imágenes de objetos y fotos de entornos, generando escenas跨模态 lógicamente coherentes mediante fusión a nivel de canal.

Escenarios de aplicación

Producción audiovisual: puede重构 los procesos de preproducción y efectos especiales de la producción audiovisual. Por ejemplo, en la fase de guion, se puede usar para generar storyboards dinámicos, y el director puede ajustar en tiempo real el tono de la escena y las acciones de los personajes. También puede sustituir parte de las necesidades de rodaje frente a chroma key; por ejemplo, en dramas históricos, introduciendo las imágenes de referencia de unos pocos soldados, puede generar en批量 vídeos de marchas de grupos que cumplen con la vestimenta y las formaciones de la antigüedad.
Desarrollo de videojuegos: puede acelerar la iteración de contenidos del juego y mejorar la inmersión. A partir de los modelos de los personajes del juego, genera rápidamente vídeos de expresiones y acciones en distintos puntos de la trama; también genera automáticamente las actividades cotidianas de los NPC en la ciudad, sin necesidad de ajustar manualmente la animación fotograma a fotograma.
Publicidad y marketing: funciona como un "motor de producción en masa" de contenido personalizado, capaz de generar cientos de vídeos con escenarios de uso diferentes para el mismo producto, satisfaciendo las necesidades de la comunicación fragmentada en redes sociales. También puede generar múltiples versiones de materiales publicitarios basados en retratos de famosos, evitando las limitaciones de agenda y los conflictos de derechos asociados al rodaje con personas reales.