Hedra: говорящее и поющее видео из фотографии 247

Hedra Labs выпустила исследовательскую превью-версию Character-1. Загрузив произвольную фотографию человека и голос, можно сгенерировать персонализированное динамическое видео, на котором персонаж говорит и поёт, то есть это инструмент, способный создавать говорящие и поющие видео на основе текста и изображений, сохраняя при этом синхронность движений губ, мимики, позы и речевого контента.

Hedra доступна на десктопных и мобильных устройствах, без ограничения по времени (открытое превью продолжительностью 30 секунд). Поддерживает выразительные диалоги, пение и рэп-персонажей, с естественными позами и мимикой.

Функциональные особенности Hedra:

• Генерация из текста и изображений: Character-1 способен генерировать говорящие и поющие видео на основе текста и изображений.

• Без ограничения по времени: в период открытого превью Character-1 поддерживает генерацию видео без ограничения по времени, максимальной продолжительностью до 30 секунд.

• Высокая эффективность: на каждые 60 секунд входных данных генерируется 90 секунд видео.

• Синхронизация мимики: мимика и движения губ сгенерированного персонажа соответствуют речевому контенту.

• Разнообразные персонажи: Character-1 поддерживает генерацию выразительных и управляемых персонажей.

• Создание виртуальных миров: Hedra также планирует запустить функцию Worlds, позволяющую пользователям создавать собственные виртуальные миры.

• Творческий контроль: Hedra предоставляет полный творческий контроль, позволяя пользователям придумывать миры, персонажей и истории.

Как пользоваться Hedra:

1. Загрузите голос или введите текстовую подсказку: можно сразу преобразовать текст в речь, в настоящее время доступно 6 голосов; введите или вставьте текст, который вы хотите, чтобы персонаж произнёс, и выберите предустановленный голос, либо загрузите аудио напрямую.

2. Загрузите аватар: в качестве изображения аватара можно загрузить собственный аватар или сгенерировать его автоматически с помощью промпта. В настоящее время поддерживается только английский язык, китайский не поддерживается.

3. Сгенерируйте.

Связанные новости:

Character-3: первая мультимодальная модель цифрового аватара, запущенная Hedra Studio в производство