SignLLM: первая многоязычная модель генерации жестового языка 188

SignLLM, первая многоязычная модель генерации жестового языка, способная преобразовывать входной текст или подсказки в соответствующие жесты жестового языка в виде видео. SignLLM использует передовые технологии искусственного интеллекта для генерации и перевода нескольких жестовых языков. SignLLM представляет первый многоязычный набор данных жестового языка под названием Prompt2Sign и на его основе разрабатывает несколько моделей для генерации жестового языка. Этот набор данных преобразует большое количество видео в формат, удобный для обучения моделей, оптимизируя обучение таких моделей перевода, как seq2seq и text2text. На основе этих наборов данных мы демонстрируем эталонные результаты SignLLM, показывая, что наша модель достигает самых современных результатов в задачах генерации жестового языка для восьми жестовых языков.

Вдохновлённые мощными возможностями перевода больших языковых моделей (LLMs), обученных на обширных многоязычных текстовых корпусах, мы стремимся использовать готовые LLMs для обработки SLT. В данной статье мы нормализуем видео жестового языка, чтобы отразить языковые характеристики разговорной речи, и предлагаем новую структуру SignLLM, которая преобразует видео жестового языка в представления, подобные языковым, для улучшения читаемости готовыми LLMs.

SignLLM включает два ключевых модуля:

1. Модуль векторно-квантованных визуальных символов преобразует символьное видео в последовательность дискретных символьных токенов уровня символов.

2. Модуль восстановления и выравнивания кодовой книги преобразует эти токены уровня символов в представления на уровне слов с использованием формулировки оптимальной транспортировки. Потери выравнивания символ-текст дополнительно устраняют разрыв между символьными и текстовыми токенами, повышая семантическую совместимость. Мы достигаем самых современных результатов без глянца на двух широко используемых эталонных тестах SLT.

Адрес SignLLM на GITHUB: https://signllm.github.io/