Duix: SDK для цифрового человека на кремниевой основе 122

硅基智能открыла исходный код DUIX — это модель цифрового человека 2D с реалистичным уровнем и рендерингом в реальном времени aiGC! DUIX (Dialogue User Interface System) — это платформа интеллектуального взаимодействия с цифровыми людьми на основе ИИ, разработанная компанией 硅基智能. Открыв возможности взаимодействия с цифровыми людьми, разработчики могут самостоятельно подключать различные большие модели, системы распознавания речи (ASR) и синтеза речи (TTS), обеспечивая взаимодействие с цифровыми людьми в реальном времени, а также развертывать их одним нажатием на множестве устройств Android и iOS, позволяя каждому разработчику легко создавать интеллектуальных и персонализированных агентов-цифровых людей и применять их в различных отраслях.

Разработчики могут самостоятельно подключать различные большие модели, распознавание речи (ASR) и синтез речи (TTS) для обеспечения взаимодействия с цифровыми людьми в реальном времени.

Поддерживается развертывание одним нажатием на множестве устройств Android и iOS, а DUIX также предоставляет 14 шаблонов цифровых людей.

Поддерживается быстрое и недорогое развертывание на iOS, Android или больших экранах, а также плавная работа на планшетах и автомобильных системах.

Поддерживается плавное изображение со скоростью 50 кадров/сек, эффективность генерации видео превышает 1:0,5, что удовлетворяет требованиям таких сценариев с высокой потребностью в реальном времени, как прямые трансляции.

Точное моделирование движений, артикуляции речи и микровыражений лица.

Сценарии применения DUIX:

Низкая стоимость развертывания: нет необходимости в привлечении технической команды заказчика, поддерживается быстрое и недорогое развертывание на различных терминалах и больших экранах.

Низкая зависимость от сети: подходит для самообслуживания с виртуальными ассистентами в метро, банках, государственных учреждениях и других сценариях.

Многофункциональность: может удовлетворять разнообразные потребности клиентов в таких отраслях, как видео, медиа, клиентская поддержка, финансы, радио и телевидение.

Основные функции DUIX:

Низкая стоимость развертывания: нет необходимости в привлечении технической команды заказчика, поддерживается быстрое и недорогое развертывание на различных терминалах и больших экранах.

Низкая зависимость от сети: подходит для самообслуживания с виртуальными ассистентами в метро, банках, государственных учреждениях и других сценариях.

Многофункциональность: может удовлетворять разнообразные потребности клиентов в таких отраслях, как видео, медиа, клиентская поддержка, финансы, радио и телевидение.

Видеосвязь в реальном времени: пользователи могут вести диалог с цифровым человеком в режиме реального времени.

Индивидуальная настройка: пользователи могут выбирать понравившуюся внешность и голос в соответствии со своими предпочтениями, создавая уникальный опыт взаимодействия.

Многоролевое взаимодействие: цифровой человек может стать вашим спутником, возлюбленным или «энциклопедией», удовлетворяя любые потребности.

Эмоциональная связь: благодаря взаимодействию пользователи устанавливают эмоциональную связь с цифровым человеком и получают удовольствие от общения с ним.

«Моменты»: «Моменты» цифрового человека демонстрируют его виртуальную жизнь, позволяя пользователям глубже узнать его личность и интересы.

Часто задаваемые вопросы о DUIX:

1. Поддерживается ли индивидуальная настройка цифрового человека? На основе фото или видео?

Ответ: Да, индивидуальная настройка цифрового человека поддерживается, мы создаём цифровых людей на основе видео. Вы можете заказать эксклюзивного цифрового человека для использования в SDK. Однако создание индивидуального цифрового человека является платной услугой, вы можете связаться со службой поддержки по электронной почте.

2. Как настроить образ?

Ответ: для создания индивидуального цифрового человека 硅基 необходимо снять видеоролик продолжительностью 3–5 минут с реальным человеком в кадре, произносящим текст. Конкретные позы в кадре и содержание текста могут определяться в зависимости от конечного реального сценария использования. Например, для создания видео, связанного с юридическими консультациями, можно выбрать появление в кадре в деловом костюме и зачитать юридически релевантный контент, чтобы общая сцена была согласованной.

3. Какова стоимость индивидуальной настройки образа?

Ответ: Мы предлагаем индивидуальную настройку цифровых людей в комплекте с открытым интерфейсом SDK. Стоимость настройки составляет 9800 юаней за комплект, включая образ и голос. При наличии дополнительных потребностей в индивидуальной настройке вы можете связаться со службой поддержки по электронной почте.

4. Как обновляется образ цифрового человека?

Ответ: В настоящее время в открытом исходном коде в основном предоставляются публичные модели, при необходимости возможна индивидуальная настройка.

5. Есть ли API-интерфейс для клонирования образа?

Ответ: В настоящее время сервис обучения поддерживает только вызов при развёртывании на наших внутренних серверах.

6. Поддерживает ли файл wav для трансляции потоковые данные?

Ответ: потоковое управление в настоящее время оптимизируется, временно не поддерживается;

7. Есть ли методы обратного вызова для начала и окончания трансляции?

Ответ: методы обратного вызова для начала и окончания трансляции подробно описаны в документации SDK.

8. Есть ли API для управления действиями цифрового человека?

Ответ: API действий цифрового человека в настоящее время не поддерживается.

Демонстрации коммерческих кейсов DUIX:

https://apps.apple.com/us/app/duix-your-ai-companion/id6451088879