Tencent HunyuanDiT: Tencent에서推出的 텍스트-이미지 생성 모델 244

混元DiT는 텐센트가 최신 오픈소스로 공개한 텍스트-이미지 생성 ai 모델로, Sora 및 Stable Diffusion 3와 동일한 DiT(Diffusion With Transformer) 아키텍처를 채택하여 중국어와 영어 이중 언어 입력 및 이해를 지원합니다. 중국어와 영어를 이해할 수 있을 뿐만 아니라 문맥, 문장 구조의 복잡성과 같은 언어의 미묘한 차이까지 파악할 수 있습니다. 또한 여러 차례의 대화를 통해 모델과 상호작용하며 이미지 콘텐츠를 점진적으로 세분화하고 조정하는 것도 지원합니다.混元DiT는 다양한 해상도의 이미지 생성을 지원합니다.

混元DiT는 중국어 네이티브 DiT 텍스트-이미지 아키텍처의 공백을 메워 더 많은 개발자와 창작자들이 참여하여 DiT 아키텍처 기반의 시각 생성을 함께 탐색하고 공동 창작할 수 있도록 합니다. 또한 混元DiT는 최초의 중국어 네이티브 DiT 아키텍처로 묘사되며, 중국어와 영어 이중 언어 입력 및 이해를 지원하고 매개변수 규모가 15억에 달합니다.

混元DiT의 기능 및 최적화:

• 중국어-영어 이중 언어 텍스트 생성 지원: 混元DiT는 중국어와 영어 이중 언어 텍스트를 처리하도록 특별 설계되었으며, 상세한 텍스트 프롬프트를 바탕으로 고해상도, 고품질의 이미지를 생성할 수 있습니다.

• 긴 텍스트 이해 능력: 알고리즘 측면에서 混元DiT는 모델의 긴 텍스트 이해 능력을 최적화하여 최대 256자의 콘텐츠 입력을 지원함과 동시에, 더 만족스러운 결과를 위해 다중 라운드 이미지 생성과 대화 기능을 구현했습니다.

• 다중 모달 시각 생성: 混元DiT는 텍스트-이미지 생성에만 사용되는 것이 아니라 비디오 등 다중 모달 시각 생성의 기반으로도 활용될 수 있어, 강력한 시각 생성 능력을 갖추고 있음을 보여줍니다.

• 네트워크 아키텍처 혁신: 이중 언어 CLIP 및 다국어 T5 인코더를 결합한 혁신적인 네트워크 아키텍처를 채택하였으며, 정교하게 설계된 데이터 파이프라인을 통해 학습 및 최적화가 이루어져 다중 라운드 대화를 지원하고 문맥에 따라 이미지를 생성 및 개선할 수 있습니다.

• 오픈소스 및 상업적 이용: 混元DiT는 완전히 오픈소스로 공개되었으며 무료로 상업적 이용이 허용되어, 사용자에게 더 많은 유연성과 활용 시나리오를 제공합니다.

• 기술 융합: 混元DiT는 확산 모델과 Transformer 아키텍처의 장점을 융합하여 강력한 시각 생성 능력을 제공하며, 이러한 아키텍처는 텍스트-이미지 생성뿐만 아니라 비디오 및 기타 다중 모달 시각 콘텐츠에도 활용될 수 있습니다.

混元DiT의 활용 분야:

• 텍스트-이미지 생성: 混元DiT 모델은 중국어와 영어 이중 언어 텍스트를 처리하도록 특별 설계되었으며, 상세한 텍스트 프롬프트를 바탕으로 고해상도, 고품질의 이미지를 생성할 수 있습니다.

• 비디오 및 3D 콘텐츠 생성: 混元DiT는 텍스트-이미지 생성을 지원할 뿐만 아니라 비디오 등 다중 모달 시각 생성의 기반으로도 활용될 수 있습니다.

• 내부 비즈니스 통합: 텐센트 미팅, 텐센트 도큐먼트, 기업 WeChat, 텐센트 광고, WeChat 검색 등 180개 이상의 텐센트 내부 비즈니스에 이미 텐센트 혼원이 통합되었습니다.

• 중국어 네이티브 지원: 混元DiT는 대규모 언어 모델과 DiT 구조를 결합한 텍스트-이미지 모델을 업계에서 가장 먼저 탐색하고 적용한 사례 중 하나로, 중국어와 영어 이중 언어 입력 및 이해를 지원하며 매개변수 규모가 15억입니다.

• 다중 라운드 대화 및 이미지 개선: 混元DiT는 사용자와 여러 차례 대화를 나누며, 문맥에 따라 이미지를 생성하고 개선할 수 있습니다.

腾讯混元DiT 프로젝트 주소:https://github.com/Tencent/HunyuanDiT

腾讯混元DiT 프로젝트 공식 사이트:https://dit.hunyuan.tencent.com/