El modelo OmniHuman de ByteDance ya está en pruebas internas en Jimeng 199

El modelo OmniHuman lanzado por ByteDance ya está en pruebas internas en Jimeng AI. Este modelo adopta una nueva tecnología multimodal de generación de vídeo. Los usuarios solo tienen que introducir una imagen y un fragmento de audio para generar animaciones de vídeo muy realistas de personas reales, abarcando desde expresiones faciales hasta movimientos de todo el cuerpo, ya sea hablando, cantando, bailando, etc.

Principales funciones del modelo OmniHuman:

• Generación de vídeo: capaz de transformar una sola foto de entrada en un vídeo dinámico realista de cuerpo entero, permitiendo además que los humanos digitales muestren diversos movimientos naturales como hablar y cantar.

• Entrada multimodal: admite simultáneamente entradas de imágenes de distintos tamaños, como retrato, medio cuerpo y cuerpo entero, combinadas con contenido de audio. El entrenamiento de datos ofrece buenos resultados y es capaz de generar vídeos animados de alta calidad.

El modelo OmniHuman no solo admite la generación de vídeos de retrato y de cuerpo entero, sino que también ofrece resultados satisfactorios con distintos tipos de imágenes de entrada, como anime y 3D, entre otras imágenes no realistas. El responsable de AI de Jimeng declaró que, aunque OmniHuman ya ha mostrado buenos resultados, todavía hay espacio de mejora en la generación de vídeos a nivel de producción cinematográfica. OmniHuman también abrirá su uso de forma gradual; actualmente se encuentra en una fase de pruebas internas a pequeña escala, con estrictos mecanismos de revisión de seguridad establecidos.

¿Dónde está OmniHuman?

Inicia sesión en Jimeng AI y selecciona Generación de vídeo en la barra lateral izquierda.

Estoy en proceso de solicitar las pruebas internas... algunos usuarios dicen que el efecto de sincronización labial no es muy bueno, pero otros dicen que es genial.