SignLLM: el primer modelo multilingüe de generación de lengua de signos 184

SignLLM, el primer modelo multilingüe de generación de lengua de señas, puede convertir el texto o las indicaciones introducidas en los correspondientes gestos de la lengua de señas en vídeo. SignLLM genera y traduce múltiples lenguas de señas mediante tecnología avanzada de IA. SignLLM introduce el primer conjunto de datos multilingüe de lengua de señas, llamado Prompt2Sign, y ha desarrollado, basándose en este conjunto de datos, varios modelos para generar lengua de señas. Este conjunto de datos transforma grandes cantidades de vídeo en un formato adecuado para el entrenamiento de modelos, optimizando el entrenamiento de modelos de traducción como seq2seq y text2text. Sobre la base de estos conjuntos de datos, mostramos los resultados de referencia de SignLLM, lo que demuestra que nuestro modelo alcanza un rendimiento de vanguardia en tareas de generación de lengua de señas para ocho lenguas de señas.

SignLLM se inspira en la potente capacidad de traducción de los modelos de lenguaje grandes (LLMs) entrenados en amplios corpus de texto multilingüe, y nuestro objetivo es aprovechar los LLMs disponibles para abordar la SLT. En este artículo, normalizamos los vídeos de lengua de señas para reflejar las características lingüísticas de la lengua oral, y proponemos un nuevo marco SignLLM que convierte los vídeos de lengua de señas en representaciones similares a las del lenguaje, con el fin de mejorar la legibilidad de los LLMs disponibles.

SignLLM consta de dos módulos clave:

1. El módulo de símbolos visuales cuantificados por vectores convierte los vídeos de signos en una secuencia de tokens de símbolos discretos a nivel de carácter.

2. El módulo de reconstrucción y alineación del libro de códigos convierte estos tokens a nivel de carácter en representaciones de símbolos a nivel de palabra utilizando la formulación de transporte óptimo. La pérdida de alineación símbolo-texto reduce aún más la brecha entre los tokens de símbolos y los tokens de texto, mejorando la compatibilidad semántica. Logramos resultados sin brillo ("matte-free") de vanguardia en dos pruebas de referencia de SLT ampliamente utilizadas.

Dirección GITHUB de SignLLM: https://signllm.github.io/