QianYing : le grand modèle de génération de jeux sonorisés par Giant Network 125

« QianYing 千影 » est un grand modèle de jeu audio lancé par Giant Network, comprenant le grand modèle de génération de vidéos de jeu YingGame et le grand modèle de doublage vidéo YingSound. Il permet la génération de vidéos de jeu audio interactives, marquant une avancée technologique majeure dans le domaine du jeu IA. YingGame a été développé conjointement par le laboratoire d'IA de Giant Network et le SATLab de l'Université Tsinghua, prenant en charge le contrôle interactif d'actions diverses des personnages et permettant aux utilisateurs de personnaliser les personnages du jeu.

Fonctionnalités principales de QianYing 千影

• YingGame : en tant que grand modèle de génération vidéo de jeu, il est capable de créer des vidéos de jeu en monde ouvert, en prenant en charge le contrôle des actions des personnages via du texte, des images ou les commandes traditionnelles au clavier et à la souris, et permet aux utilisateurs de personnaliser les personnages du jeu. Les points forts de YingGame résident dans la diversité des mouvements des personnages et la conception personnalisée, ainsi que dans ses capacités de simulation physique sans avoir recours à la modélisation et au rendu 3D traditionnels.

• YingSound : un grand modèle de doublage vidéo spécialement conçu pour générer des effets sonores correspondant aux images vidéo, incluant des sons d'ambiance complexes et des dialogues de personnages, sans nécessiter de prompts manuels, en extrayant directement la sémantique du contenu vidéo pour une génération audio de haute précision. Grâce à sa capacité de généralisation, YingSound est adapté à de nombreux types de vidéos, des scènes réalistes aux animés et jeux vidéo, améliorant ainsi l'immersion dans le jeu.

Technologie du modèle QianYing 千影 :

• YingGame : développé conjointement par le laboratoire d'IA de Giant Network et le SATLab de l'Université Tsinghua, prenant en charge le contrôle interactif d'actions diverses des personnages.

• YingSound : développé conjointement par le laboratoire d'IA de Giant Network, l'ASLP Lab de l'Université Northwestern Polytechnique et l'Université du Zhejiang, doté de capacités exceptionnelles d'alignement temporel et de compréhension sémantique vidéo.

• Jeu en monde ouvert : YingGame peut générer des vidéos de jeu en monde ouvert, permettant le contrôle interactif des actions des personnages via du texte, des images ou des commandes au clavier et à la souris.

• Génération d'effets sonores : YingSound est capable de générer des effets sonores complexes correspondant aux images, permettant ainsi des vidéos de jeu audio.

• Avancée technologique : le modèle QianYing 千影 démontre la faisabilité de générer du contenu de jeu à partir de descriptions textuelles.

Plan de co-création QianYing

• Lancement du plan : Giant Network a lancé le « Plan de co-création QianYing », ouvrant la coopération sur les technologies de modèles, les applications et les projets de jeux originaux.

• Domaines de coopération : incluant la coopération et la co-création dans les technologies de modèles, les applications de modèles, les projets de jeux originaux, etc.

• Déploiement des applications : accélérer le déploiement des technologies « jeu + IA », favorisant la transition d'une réduction des coûts et d'une efficacité accrue vers une innovation disruptive.

• Recrutement de talents : le plan inclut également le recrutement de talents afin de soutenir le développement continu des technologies.

• Ouverture : le plan vise à accélérer la maturité et l'application des technologies grâce à une coopération ouverte.

Giant Network a présenté le grand modèle de génération de jeux audio « QianYing 千影 » lors de la Conférence annuelle chinoise de l'industrie du jeu 2024, démontrant ainsi une avancée technologique majeure de Giant Network dans le domaine du « jeu IA ».