Tencent HunyuanDiT: модель генерации изображений по тексту от Tencent 259

HunyuanDiT — это новейшая модель преобразования текста в изображение с открытым исходным кодом от Tencent, использующая ту же архитектуру DiT (Diffusion With Transformer), что и Sora и Stable Diffusion 3, поддерживающая двуязычный ввод и понимание на китайском и английском языках. Она способна понимать китайский и английский языки, а также улавливать тонкие нюансы языка, такие как контекст и сложность синтаксических конструкций. Также поддерживается взаимодействие с моделью посредством многораундового диалога для постепенного уточнения и корректировки содержимого изображения. HunyuanDiT поддерживает генерацию изображений с различным разрешением.

HunyuanDiT заполняет пробел в отсутствии китайской оригинальной архитектуры DiT для преобразования текста в изображение, помогая большему числу разработчиков и авторов присоединиться к совместному исследованию и созиданию визуальной генерации на основе архитектуры DiT. Кроме того, HunyuanDiT описывается как первая китайская оригинальная архитектура DiT, поддерживающая двуязычный ввод и понимание на китайском и английском языках, с количеством параметров 1,5 миллиарда.

Функции и оптимизации HunyuanDiT:

• Поддержка генерации на основе текстов на китайском и английском языках: HunyuanDiT специально разработан для обработки текстов на двух языках и способен генерировать изображения высокого разрешения и высокого качества по подробным текстовым подсказкам.

• Способность понимать длинные тексты: на алгоритмическом уровне HunyuanDiT оптимизировал способность модели понимать длинные тексты, поддерживая ввод до 256 символов, а также реализовал возможности многораундовой генерации изображений и диалога для достижения более удовлетворительных результатов.

• Мультимодальная визуальная генерация: HunyuanDiT может использоваться не только для преобразования текста в изображение, но и в качестве основы для мультимодальной визуальной генерации, такой как видео, что свидетельствует о его мощных возможностях визуальной генерации.

• Инновации в сетевой архитектуре: используется инновационная сетевая архитектура, сочетающая двуязычный CLIP и многоязычный кодировщик T5, обученная и оптимизированная с помощью тщательно спроектированного конвейера данных, поддерживающая многораундовый диалог и способная генерировать и совершенствовать изображения в зависимости от контекста.

• Открытый исходный код и коммерческое использование: HunyuanDiT полностью открыт и разрешён для бесплатного коммерческого использования, что обеспечивает пользователям большую гибкость и сценарии применения.

• Технологическое слияние: HunyuanDiT объединяет преимущества диффузионных моделей и архитектуры Transformer, обеспечивая мощные возможности визуальной генерации. Эта архитектура может использоваться не только для преобразования текста в изображение, но и для создания видео и другого мультимодального визуального контента.

Области применения HunyuanDiT:

• Генерация изображений из текста: модель HunyuanDiT специально разработана для обработки текстов на китайском и английском языках и способна генерировать изображения высокого разрешения и высокого качества по подробным текстовым подсказкам.

• Генерация видео и 3D-контента: HunyuanDiT может не только поддерживать преобразование текста в изображение, но и служить основой для мультимодальной визуальной генерации, такой как видео.

• Интеграция во внутренние бизнес-процессы: более 180 внутренних бизнес-направлений Tencent уже интегрировали Hunyuan от Tencent, включая Tencent Meeting, Tencent Docs, WeChat Work, Tencent Ads и поиск WeChat и другие.

• Поддержка китайского языка как родного: HunyuanDiT является одной из первых в отрасли моделей, исследующих и применяющих большие языковые модели в сочетании со структурой DiT для преобразования текста в изображение, поддерживая двуязычный ввод и понимание на китайском и английском языках, с количеством параметров 1,5 миллиарда.

• Многораундовый диалог и совершенствование изображений: HunyuanDiT способен вести многораундовый диалог с пользователем, генерируя и совершенствуя изображения в зависимости от контекста.

Адрес проекта Tencent HunyuanDiT на GitHub:https://github.com/Tencent/HunyuanDiT

Официальный сайт проекта Tencent HunyuanDiT:https://dit.hunyuan.tencent.com/