StreamV2V: open-source инструмент для замены лиц и переноса стиля в реальном времени 199

StreamV2V — это инструмент с открытым исходным кодом для преобразования видео в реальном времени, который позволяет выполнять замену лиц на видео и преобразование стиля в реальном времени. StreamV2V способен выполнять преобразование видео в видео в реальном времени на GPU RTX 4090, достигая скорости обработки 20 кадров в секунду.

Благодаря потоковой обработке StreamV2V поддерживает видео неограниченной длины и обеспечивает управление видео с помощью подсказок в реальном времени. Это достигается за счёт ведения библиотеки признаков, в которой сохраняется информация о прошлых кадрах: когда поступает новый кадр, модель использует признаки из этой библиотеки для формирования выходных данных, словно оглядываясь назад.

StreamV2V способен обрабатывать потоковые входные данные — входное видео может представлять собой потоковое видео в реальном времени, например видеопоток, передаваемый с веб-камеры.

StreamV2V поддерживает замену лиц на видео лицами других людей, а также преобразование видео в различные художественные стили, включая:

Стиль пластилиновой анимации: обработка видео с эффектом, напоминающим пластилиновую анимацию.

Стиль граффити-арта: преобразование видео в художественный эффект, напоминающий рисунок от руки.

Официальный сайт StreamV2V: https://jeff-liangf.github.io/projects/streamv2v/

GitHub: https://github.com/Jeff-LiangF/streamv2v