EchoMimic: humano digital de código abierto de Alipay 110

EchoMimic es una herramienta de generación de animaciones de retratos impulsada por audio desarrollada por Alipay del Grupo Ant, que genera animaciones realistas y naturales mediante condiciones de puntos de referencia editables. Los usuarios pueden ajustar los detalles de la animación según sus necesidades. Se puede utilizar para presentadores virtuales, edición de vídeos, etc., con mejores resultados que SadTalker y MuseTalk, expresiones más ricas y movimientos más fluidos.

EchoMimic puede ayudar a sincronizar los labios de los personajes según las características faciales del retrato y el audio, generando vídeos relativamente estables y naturales al combinar los puntos de referencia faciales con el contenido de audio.

Funciones de EchoMimic:

• Animación impulsada por audio: puede generar animaciones de retratos de personajes a partir de audio, como vídeos cantando, hablando, etc.

• Animación impulsada por pose: puede generar animaciones de retratos de personajes a partir de datos de pose.

• Animación impulsada por audio y pose combinados: puede utilizar simultáneamente datos de audio y de pose para generar animaciones.

• WebUI y GradioUI: proporcionan una interfaz gráfica fácil de usar.

• Ajuste de marcadores editables: los usuarios pueden seleccionar marcadores faciales específicos para controlar la animación, ofreciendo mayor flexibilidad y personalización.

• Soporta varios idiomas (incluido chino mandarín e inglés) y múltiples estilos, y también puede abordar escenas como el canto.

Aplicaciones de EchoMimic:

• Animación de imágenes de retrato: crea vídeos dinámicos a partir de imágenes estáticas usando entrada de audio, útil para entretenimiento, avatares virtuales y comunicación digital.

• Mayor estabilidad y naturalidad: al combinar dos entradas, supera la inestabilidad de los métodos impulsados por audio y la falta de naturalidad de los métodos impulsados por puntos de referencia.

• Animación personalizable: los usuarios pueden editar marcadores faciales específicos para lograr los efectos de animación deseados.

ComfyUI EchoMimic: https://github.com/smthemex/ComfyUI_EchoMimic

Proyecto EchoMimic: https://badtobest.github.io/echomimic.html

EchoMimic Github: https://github.com/BadToBest/EchoMimic

Modelo de EchoMimic: https://huggingface.co/BadToBest/EchoMimic

EchoMimic es una tecnología de creación de animaciones de retratos realistas impulsada por entrada de audio, desarrollada por el Departamento de Tecnología Terminal de Alipay del Grupo Ant. Utiliza el ajuste de marcadores editables para lograr movimientos y expresiones faciales realistas, permitiendo animaciones altamente personalizables y de apariencia natural.