Follow-Your-Emoji: un proyecto de animación de retratos 226

Follow-Your-Emoji, desarrollado conjuntamente por la Universidad de Ciencia y Tecnología de Hong Kong, Tencent Hunyuan y la Universidad de Tsinghua, basado en un modelo de difusión, aplica la expresión o el movimiento objetivo a un retrato de referencia, manteniendo las características de identidad del retrato, la coherencia del movimiento y el realismo. Mediante la extracción de las características faciales de la persona en el vídeo, en particular los detalles faciales y la dinámica de las pupilas, se genera una nueva animación facial.

Solo necesitas proporcionar una foto, y Follow-Your-Emoji puede transformarla en una animación facial vívida. Al mismo tiempo, es capaz de captar cambios de expresión sutiles.

Follow-Your-Emoji permite utilizar un único vídeo o secuencia de movimiento conductor para generar animaciones en varios retratos de referencia diferentes. Cada retrato de referencia mostrará los mismos movimientos y cambios de expresión según la misma secuencia de movimiento.También se puede utilizar un único retrato de referencia con varios vídeos conductores diferentes para generar múltiples animaciones. Cada secuencia de movimiento hará que el mismo retrato de referencia muestre diferentes movimientos y cambios de expresión.

Características y funcionalidades de Follow-Your-Emoji:

• Preservación de la identidad: durante el proceso de generación de la animación, garantiza que las características de identidad del retrato de referencia no se pierdan, asegurando que tu imagen permanezca siempre coherente.

• Expresiones enriquecidas: genera diversas expresiones tanto exageradas como sutiles, como movimientos amplios de las pupilas, ya sean dinámicas oculares sutiles o cambios de expresión pronunciados.

• Diversidad de estilos: admite animación de retratos en múltiples estilos, ya sean dibujos animados, personajes realistas, esculturas o estilos animales.

• Animación estable y duradera: utiliza una estrategia de generación progresiva para garantizar la estabilidad y coherencia de las animaciones prolongadas.

La principal dificultad de esta tecnología reside en mantener en todo momento las características de identidad del retrato de referencia durante la animación, al mismo tiempo que se transmite la expresión objetivo, y se garantiza la coherencia temporal y el realismo.

Para resolver este problema, Follow-Your-Emoji adopta dos tecnologías clave: la primera es el uso de una nueva señal de movimiento explícita: puntos clave con percepción de expresión, para guiar el proceso de animación. Estos puntos clave garantizan una alineación precisa entre el retrato de referencia y el movimiento objetivo durante el proceso de inferencia, y mejoran la capacidad de representar expresiones exageradas (por ejemplo, movimientos amplios de las pupilas), evitando al mismo tiempo la filtración de información de identidad. La segunda es la propuesta de una función de pérdida facial de granulado fino, que mejora la capacidad del modelo para captar cambios de expresión sutiles y reconstruir la apariencia del retrato de referencia mediante el uso de expresiones y máscaras faciales.

Follow-Your-Emoji es ideal para profesionales y aficionados que necesitan producir animaciones de retratos, incluidos diseñadores de animación, productores de vídeo, desarrolladores de juegos, entre otros.

Dirección del artículo: https://arxiv.org/html/2406.01900v1

Dirección del proyecto Follow-Your-Emoji: https://follow-your-emoji.github.io/