QianYing (ЦяньИн): большая модель для генерации озвученных игр от Giant Network 129

«Цяньин QianYing» — это большая аудиовизуальная игровая модель, представленная компанией Giant Network, которая включает в себя большую модель генерации игровых видео YingGame и большую модель озвучки видео YingSound. Она обеспечивает создание интерактивных игровых видео со звуковым сопровождением, что ознаменовало технологический прорыв в области AI-игр. YingGame была совместно разработана AI-лабораторией Giant Network и лабораторией SATLab Университета Цинхуа, поддерживает интерактивное управление разнообразными действиями персонажей и позволяет пользователям настраивать игровых персонажей.

Основные функции Цяньин QianYing

• YingGame: как большая модель генерации видео для игр, она способна создавать игровые видео в открытом мире, поддерживает управление действиями персонажей с помощью текста, изображений или традиционных клавиатуры и мыши и позволяет пользователям настраивать игровых персонажей. Сильными сторонами YingGame являются разнообразные движения персонажей и индивидуальный дизайн, а также возможности физического моделирования без необходимости использования традиционного 3D-моделирования и рендеринга.

• YingSound: большая модель озвучки видео, специально предназначенная для создания соответствующих звуковых эффектов на основе видеоизображения, включая сложные звуки окружающей среды и диалоги персонажей, без необходимости использования ручных подсказок, извлекая семантику непосредственно из видеоконтента для высокоточной генерации аудио. Возможности обобщения YingSound делают её применимой к различным типам видео — от реальных сцен до анимации и игр, повышая погружение в игру.

Технология модели Цяньин QianYing:

• YingGame: совместно разработана AI-лабораторией Giant Network и лабораторией SATLab Университета Цинхуа, поддерживает интерактивное управление разнообразными действиями персонажей.

• YingSound: совместно разработана AI-лабораторией Giant Network, лабораторией ASLP Lab Северо-Западного политехнического университета и Чжэцзянским университетом, обладает исключительными возможностями временного выравнивания и понимания видеосемантики.

• Игры с открытым миром: YingGame может генерировать игровые видео в открытом мире и обеспечивать интерактивное управление действиями персонажей с помощью текста, изображений, клавиатуры или мыши.

• Генерация звуковых эффектов: YingSound способна создавать сложные звуковые эффекты, соответствующие изображению, обеспечивая игровое видео со звуковым сопровождением.

• Технологический прорыв: модель Цяньин QianYing демонстрирует возможность генерации игрового контента по текстовому описанию.

Программа совместного творчества «Цяньин»

• Запуск программы: Giant Network запустила программу совместного творчества «Цяньин», открывая сотрудничество в области модельных технологий, приложений и оригинальных игровых проектов.

• Сферы сотрудничества: включают совместное творчество в таких областях, как модельные технологии, применение моделей и оригинальные игровые проекты.

• Внедрение приложений: ускорение внедрения технологии «Игры + AI», содействие переходу от снижения затрат и повышения эффективности к революционным инновациям.

• Привлечение талантов: программа также включает привлечение талантов для поддержки устойчивого развития технологий.

• Открытость: программа направлена на ускорение развития и применения технологий посредством открытого сотрудничества.

Компания Giant Network представила большую модель генерации игр со звуковым сопровождением «Цяньин QianYing» на Ежегодной конференции китайской игровой индустрии 2024 года, продемонстрировав значительное технологическое развитие Giant Network в области «AI-игр».