Zidong Taichu: новая крупная модель нового поколения 141

Цзун Тайчу — новое поколение крупной модели, представленное Институтом автоматизации Китайской академии наук и Уханьским исследовательским институтом искусственного интеллекта. Модель перешла от трёх модальностей к полной мультимодальности и поддерживает широкий спектр диалоговых задач, включая многотуровые вопросы и ответы, создание текстов, генерацию изображений, 3D-понимание, анализ сигналов и другие. Она обладает более мощными способностями к восприятию, пониманию и творчеству, обеспечивая全新的互动体验 (новый интерактивный опыт).

Что умеет крупная модель Цзун Тайчу 2.0

Институт автоматизации Китайской академии наук и Уханьский исследовательский институт искусственного интеллекта представили новое поколение крупной модели. Модель перешла от трёх модальностей к полной мультимодальности и поддерживает широкий спектр диалоговых задач, включая многотуровые вопросы и ответы, создание текстов, генерацию изображений, 3D-понимание, анализ сигналов и другие. Она обладает более мощными способностями к восприятию, пониманию и творчеству, обеспечивая совершенно новый интерактивный опыт.

Создание текстов

Способна точно понимать намерения пользователя и генерировать связный и логически последовательный текстовый контент. Охватывает распространённые сценарии создания текстов, такие как: написание отзывов на статьи, составление описаний вакансий (JD), писем, приглашений, планов поездок и многое другое.

Ответы на вопросы

Способна точно понимать контекст вопроса пользователя и предоставлять соответствующие知识性 (познавательные) ответы в реальном времени, включая: бытовые знания, рабочие навыки, медицинские знания, историю и культуру и т. д.

Понимание изображений, текста и звука

Визуально-текстово-голосовая модель, уделяющая больше внимания взаимосвязям между этими тремя модальностями данных и обеспечивающая базовую поддержку для более широкого и разнообразного круга downstream-задач.

Генерация музыки

Позволяет управляемо генерировать высококачественную музыку на основе заданного текстового описания, а также поддерживает импровизационное создание музыкальных композиций в различных стилях и с использованием различных инструментов.

3D-понимание

Возможности 3D-понимания сцен и восприятия объектов на основе данных облаков точек.

Анализ сигналов

Поддерживает идентификацию радиолокационных сигналов и知识交互 (познавательное взаимодействие), позволяя с помощью модели быстро определить основной источник сигнала и его параметры.

Обзор функций крупной модели Цзун Тайчу

«Цзун Тайчу 2.0» стремится обеспечить более полные возможности ответов на вопросы, более богатые выразительные возможности и многотуровое мультимодальное ведение диалога, удовлетворяя потребности в диалоге и творчестве в более сложных бизнес-сценариях.

1. Возможности работы с изображениями

Описание изображенийОписание возможностей: «Цзун Тайчу 2.0» способен на основе загруженных пользователем изображений точно понимать и отвечать на вопросы, связанные с распознаванием изображений, в частности определять основной объект, фон, действия, цвета и т. д. Также поддерживается понимание контекста и многотуровое ведение диалога.

Примеры команд:

Загрузить изображение, затем отправить «Пожалуйста, опиши, что изображено на этой картинке»

Загрузить изображение, затем отправить «Пожалуйста, опиши, какие цвета присутствуют на этом изображении»

2. Обнаружение объектов

Описание возможностей: «Цзун Тайчу 2.0» поддерживает задачи обнаружения объектов широкого ассортимента品类 (категорий), способен определять тип объекта, количество и соответствующее местоположение.

Примеры команд:

Загрузить изображение, затем отправить «Сколько персонажей на изображении»

Загрузить изображение, затем отправить «Помоги мне узнать, сколько видов животных изображено на картинке»

3. Поиск изображений

Описание возможностей: «Цзун Тайчу 2.0» обладает обширной базой качественных изображений и способен подбирать для пользователя релевантные и высококачественные графические материалы.

Примеры команд:

«Помоги мне найти изображение цветущей сакуры»

«Помоги мне найти картину ночного Шанхая»

«Как выглядит автомобиль, покажи мне фото»

4. Генерация изображений

Описание возможностей: «Цзун Тайчу 2.0» способен на основе пользовательских инструкций генерировать соответствующие качественные изображения и позволяет корректировать содержание изображения, изменяя описание. Небольшие подсказки по составлению промптов: добавление конкретных характеристик основного объекта помогает точнее определить核心场景 (ключевую сцену), а добавление описаний стиля или других характеристик помогает скорректировать общий эффект изображения.

Примеры команд:

«Нарисуй картину цветущей сакуры в изящном стиле»

«Сгенерируй фотографию щенка, играющего на лугу»

«Помоги мне нарисовать картинку тигра, плывущего в воде»

5. Распознавание текста

Описание возможностей: «Цзун Тайчу 2.0» обеспечивает высокоточное обнаружение и распознавание текста для множества сценариев и языков. Конкретные бизнес-сценарии включают: распознавание текста на удостоверениях и карточках, распознавание текста на чеках и квитанциях, обработку изображений документов и т. д.

Примеры команд:

Загрузить изображение, затем отправить «Какой текст изображен на картинке»

Загрузить изображение, затем отправить «Помоги мне распознать весь текст на изображении»

6. Языковые возможности

Ответы на вопросы на китайском языке

Описание возможностей: «Цзун Тайчу 2.0» способен точно понимать контекст вопроса пользователя и предоставлять точные知识性 (познавательные) ответы, включая: бытовые знания, рабочие навыки, медицинские знания, историю и культуру и т. д.

Примеры команд:

«Проверю тебя, какие четыре великих литературных произведения существуют»

«Подскажи, пожалуйста, какая самая высокая гора в мире»

«Что такое гастрит, какие распространённые типы бывают и как их лечить?»

«Как организовать личные финансы и бюджетное планирование?»

7. Суммаризация текста

Описание возможностей: «Цзун Тайчу 2.0» способен быстро понимать основные идеи статьи и извлекать краткие и точные аннотации из длинных текстов.

Примеры команд:

«Помоги мне составить краткое содержание статьи» + введите содержимое статьи

«Помоги мне сделать эту статью более краткой» + введите содержимое статьи

8. Продолжение текста

Описание возможностей: «Цзун Тайчу 2.0» способен на основе введённой пользователем сюжетной завязки автоматически продолжать и обогащать содержание истории.

Примеры команд:

«Пожалуйста, продолжи историю: однажды в горах жили 3 старых монаха»

9. Создание текстов

Описание возможностей: «Цзун Тайчу 2.0» способен точно понимать намерения пользователя и генерировать связный и логически последовательный текстовый контент. Охватывает распространённые сценарии создания текстов, такие как: написание отзывов на статьи, составление описаний вакансий (JD), писем, приглашений, планов поездок и многое другое.

Примеры команд:

«Помоги мне написать новостной релиз на 200 слов о презентации крупной модели искусственного интеллекта»

«Напиши описание вакансии на должность продуктового менеджера интернет-ai продукта»

«Напиши отзыв на произведение «Три тела»»

«Пожалуйста, составь для меня план поездки по Уханю на 3 дня»

«Напиши благодарственное письмо в адрес правительства Уханя»

10. Генерация заголовков

Описание возможностей: «Цзун Тайчу 2.0» способен на основе понимания статьи или длинного текста быстро агрегировать и генерировать краткие и обобщающие заголовки и тексты.

Примеры команд:

«Пожалуйста, сгенерируй заголовок для этой статьи:» + введите содержимое статьи

11. Грамматический анализ

Описание возможностей: «Цзун Тайчу 2.0» способен на основе загруженных пользователем китайских и английских текстов точно понимать и анализировать грамматику предложений, указывать на грамматические ошибки и исправлять их.

Примеры команд:

Пожалуйста, исправь предложение на грамматически правильное: «Генеральный менеджер Чжан и главный инженер Ли обсуждают проект технической модернизации, он согласен с его мнением.»

Пожалуйста, укажи на ошибки в предложении и исправь его: «A number of students is going to learn a foreign language.»