OmniTalker: платформа Alibaba для создания говорящих аватаров в реальном времени 129

Что такое OmniTalker?

OmniTalker — это мультимодальная генеративная среда реального времени с управлением от текста для создания говорящих аватаров, разработанная исследовательской лабораторией Tongyi компании Alibaba. Она способна в реальном времени генерировать согласованные речь и видеоанимацию на основе входного текста. Сгенерированные речь и видео отличаются высоким качеством, а также реалистично воспроизводят мимику и движения головы, словно с вами общается настоящий «цифровой человек». OmniTalker поддерживает преобразование между китайским и английским языками, выражение эмоций (таких как спокойствие, радость, грусть, гнев и т. д.), а также генерацию длинных видеороликов.

Функциональные особенности OmniTalker

• Мультимодальная обработка входных данных: способность воспринимать текст, изображения, аудио и видео.

• Потоковая генерация: генерация текста и естественных голосовых ответов в потоковом режиме, аудио- и видеокодеки используют поблочную обработку, что разделяет обработку длинных последовательностей мультимодальных данных.

• Точная синхронизация аудио и видео: технология TMRoPE обеспечивает точную синхронизацию видео- и аудиовхода.

• Взаимодействие в реальном времени: поддержка поблочного ввода и мгновенного вывода, полностью интерактивное взаимодействие в реальном времени.

• Естественная и плавная генерация речи: превосходные показатели естественности и стабильности генерации речи, превосходящие многие существующие потоковые и непотоковые альтернативы.

• Преимущество в производительности: отличные результаты в мультимодальных бенчмарках; аудиовозможности превосходят Qwen2-Audio аналогичного размера и находятся на одном уровне с Qwen2.5-VL-7B.

Основные технологии OmniTalker

1. Архитектура двойного диффузионного трансформера (DiT)

• Включает аудиоветвь и визуальную ветвь:

• Аудиоветвь: синтезирует высококачественную речь из текста.

• Визуальная ветвь: предсказывает положение головы и мимику.

• Новый модуль аудиовизуального слияния обеспечивает временну́ю синхронизацию и стилистическое единство аудио- и видеовыхода.

2. Контекстное обучение по референсу

• OmniTalker способен захватывать характеристики речи и мимики из одного референсного видео без дополнительных модулей извлечения стиля. Это означает, что независимо от входного текста OmniTalker генерирует речь и видеоконтент, в высокой степени согласующийся со стилем референсного видео.

3. Работа в реальном времени и высокая эффективность

• OmniTalker способен в реальном времени генерировать речь и видео со скоростью 25 FPS, что является передовым показателем среди аналогичных технологий. Такая высокая скорость вывода позволяет применять OmniTalker в сценариях видеочата в реальном времени, виртуальных трансляций и обеспечивать пользователям плавный интерактивный опыт.

Сценарии применения OmniTalker

• Интеллектуальные голосовые помощники: обработка голосовых команд пользователя и генерация голосовых ответов в реальном времени.

• Мультимодальное создание контента: одновременная обработка текстовых, графических и видеовходов с генерацией соответствующего текстового или голосового описания.

• Образование и обучение: создание виртуальных преподавателей, которые генерируют речь и видео в соответствии с учебным содержанием.

• Виртуальные службы поддержки и ассистенты: создание виртуальных операторов или ассистентов, генерирующих голосовые и видеоответы в реальном времени.

• Развлечения и медиа: создание виртуальных ведущих, актёров с генерацией контента выступлений в реальном времени.

Преимущества OmniTalker

• Высокое качество генерации: генерируемый речевой и видеоконтент отличается высоким качеством и точно воспроизводит стиль референсного видео, включая тон, ритм и тонкие изменения мимики.

• Обучение без примеров (zero-shot): не требует большого объёма обучающих данных, позволяет быстро генерировать контент на основе входного текста и референсного видео, адаптируясь к различным сценариям и потребностям.

• Интерактивность в реальном времени: генерация речи и видео в реальном времени со скоростью 25 FPS с низкой задержкой, пригодная для видеочата в реальном времени, виртуальных трансляций и подобных сценариев.

Официальный сайт проекта:https://humanaigc.github.io/omnitalker/

Техническая статья:https://arxiv.org/pdf/2504.02433v1