KeySync: инструмент липсинка, решающий проблемы утечки выражений и окклюзии 67

Что такое KeySync?

KeySync — это недавно выпущенный инструмент для синхронизации губ (инструмент), ключевым преимуществом которого является решение проблем утечки мимики и перекрытия лица. Он обеспечивает соответствие движений губ звуковой дорожке независимо от выражений лица человека в исходном видео, и даже при закрытии рта синхронизация не нарушается.

KeySync способен обрабатывать видео в высоком разрешении и точно согласовывать сгенерированные движения губ с новой аудиодорожкой, эффективно избегая рассинхронизации изображения и звука. Используемая двухэтапная архитектура обеспечивает хорошую временную согласованность, благодаря чему движения рта выглядят естественно и плавно.

Кроме того, KeySync поддерживает настройку параметров для управления процессом генерации анимации, например, можно указать расположение объектов, перекрывающих лицо, что обеспечивает более гибкие возможности индивидуальной настройки.

Функциональные особенности KeySync

• Синхронизация губ в высоком разрешении: генерация высококачественных, естественных и плавных движений губ, совместимых с видео в высоком разрешении.

• Обработка без утечек: предотвращение влияния других мимических движений из входного видео на движения губ, гарантируя, что движения соответствуют только аудио.

• Обработка перекрытий: эффективное решение проблемы перекрытия лица с помощью стратегии маскирования.

• Временная согласованность: обеспечение плавности движений губ во времени, предотвращение неестественных переходов.

• Кросс-синхронизация: поддержка синхронизации губ между различными видео и аудио.

Технические принципы KeySync

KeySync использует двухэтапную архитектуру для генерации видео с синхронизацией губ:

• Этап генерации ключевых кадров: из входного видео выбираются ключевые кадры, и с помощью диффузионной модели генерируются движения губ, соответствующие входному аудио.

• Этап интерполяции: между ключевыми кадрами выполняется интерполяция для генерации промежуточных кадров, формируя полное видео с синхронизацией губ.

Кроме того, KeySync применяет новую стратегию маскирования для решения проблем утечки мимики и перекрытия лица. Эта стратегия определяет область губ с помощью детекции лицевых ориентиров и расширяет область маски, охватывая подбородок и часть щёк, при этом исключая влияние перекрывающих объектов.

Сценарии применения KeySync

• Автоматизированная дубляжная озвучка: используется для перевода в кинопроизводстве, автоматически генерируя движения губ, соответствующие новой озвучке.

• Виртуальная реальность (VR) и дополненная реальность (AR): генерация движений губ виртуальных персонажей или в дополненной реальности для усиления эффекта погружения.

• Видеоконференции: улучшение синхронизации губ при сетевых задержках, повышение естественности удалённой коммуникации.

• Производство анимации: быстрая генерация анимации губ персонажей, повышение эффективности производства.

• Локализация многоязычного контента: генерация движений губ, соответствующих озвучке на разных языках, для повышения качества локализации.

Как пользоваться KeySync

1. Откройте демонстрационную страницу: перейдите по ссылке https://huggingface.co/spaces/toninio19/keysync-demo

2. Загрузка файлов: найдите на странице область для загрузки видео и аудио файлов, загрузите соответственно ваше видео (формат .mp4) и аудио (формат .wav).

3. Создание синхронизированного видео: после загрузки нажмите соответствующую кнопку (конкретная кнопка может зависеть от дизайна страницы), система начнёт обработку загруженных файлов и сгенерирует синхронизированное видео.

4. Просмотр результата: после завершения обработки вы сможете просмотреть сгенерированное синхронизированное видео на странице.

Ссылки проекта

• Страница проекта: https://antonibigata.github.io/KeySync/

• Репозиторий модели: https://huggingface.co/toninio19/keysync

• Онлайн-демонстрация: https://huggingface.co/spaces/toninio19/keysync-demo

• Ссылка на статью: https://arxiv.org/abs/2505.00497