Matrix-Zero : Kunlun Wanwei lance le premier modèle 3D du monde en Chine 195

Kunlun Wanwei a lancé le modèle mondial Matrix-Zero le 14 février 2025, devenant la première entreprise en Chine à lancer simultanément un modèle de génération de scènes 3D et un modèle de génération de vidéo interactive.

Ce modèle mondial comprend deux sous-modèles : un modèle de génération de scènes 3D, qui peut convertir les images saisies par les utilisateurs en scènes 3D réelles et explorables librement, offrant une cohérence globale, prenant en charge la saisie d'images de différents styles ainsi que le transfert de style, et capable de générer des effets physiques dynamiques. L'autre est un grand modèle de génération vidéo interactive, qui prend en charge la génération d'effets vidéo interactifs en temps réel à partir des saisies des utilisateurs et offre un contrôle précis de l'angle de vue.

Caractéristiques de Matrix-Zero

Grand modèle de génération de scènes 3D :

• Conversion d'entrée : convertit les images saisies par les utilisateurs en scènes 3D réelles, raisonnables et librement explorables.

• Cohérence globale : la scène 3D générée reste cohérente après une visualisation à 360 degrés, sans incohérences.

• Exploration libre : prend en charge l'exploration longue distance et à grande échelle dans n'importe quelle direction de la scène.

• Transfert de style : prend en charge la saisie d'images de différents styles et peut générer des scènes 3D dans différents styles.

• Génération de scènes dynamiques : prend en charge la génération d'effets physiques tels que des effets d'éclairage, des éclaboussures dynamiques, des nuages et brouillards dynamiques.

Grand modèle de génération vidéo interactive :

• Piloté par les saisies de l'utilisateur : centré sur les saisies de l'utilisateur, génère des vidéos spatiales intelligentes interactives.

• Contrôle précis : dispose d'un modèle d'action avec un contrôle plus précis, permettant aux utilisateurs de contrôler l'angle de vue et les actions via le clavier et la souris.

• Expérience fluide : optimise l'expérience de contrôle grâce à un mécanisme de fenêtre glissante, réduisant la latence d'entrée et améliorant la fluidité de l'interaction.

• Traitement de plusieurs types d'entrées : comprend un module de contrôle de mouvement discret, un module de contrôle de point de vue continu et un module de suivi de position de scène 3D, traitant différents types de saisies utilisateur.

Scénarios d'application de Matrix-Zero

• Développement de jeux 3D : fournit une modélisation de scènes 3D contrôlable et rapide, améliorant l'efficacité du développement de jeux.

• Production cinématographique et télévisuelle : prend en charge la génération de plans de scènes pour les films/courts-métrages, offrant davantage de possibilités créatives.

• Intelligence incarnée : permet de construire rapidement des scènes de simulation, améliorant l'efficacité de l'entraînement et de l'application de l'intelligence incarnée.

• Environnements virtuels et applications interactives : offre une expérience immersive, élargissant les scénarios d'application dans les environnements virtuels et les applications interactives.

• Produits multi-matrices IA : renforce les activités de production de jeux IA, de production et de montage de courts-métrages IA de l'entreprise, améliorant la productivité.

L'intelligence spatiale est la prochaine étape importante de l'IA. Qu'est-ce que l'intelligence spatiale ? Selon Fei-Fei Li, la marraine de l'IA, l'intelligence spatiale ne consiste pas seulement à permettre à l'IA de voir le monde, mais aussi à lui permettre de comprendre le monde en trois dimensions et de disposer de la capacité d'interagir avec celui-ci, afin ultimately d'aboutir à une interaction approfondie avec le monde réel.

Matrix-Zero devrait être mis en ligne en avril 2025 et sera initialement appliqué aux lignes de business de production de jeux IA et de production de courts-métrages IA de Kunlun Wanwei.