YAYI2：中文名为“雅意”,中科闻歌开源大语言模型_云技派 166

YAYI2 — это новое поколение открытой большой языковой модели, разработанной компанией SinoScience Wenge, с китайским названием «Яи» (雅意). Модель доступна в версиях Base и Chat, имеет 30 миллиардов параметров и построена на архитектуре Transformer.

YAYI2 предварительно обучена на высококачественном многоязычном корпусе объёмом более 2 триллионов токенов. Для общих и специализированных сценариев применения модель дообучена на миллионах инструкций, а также использует обучение с подкреплением на основе обратной связи от человека (RLHF) для лучшего согласования с человеческими ценностями.

Ключевые возможности YAYI2 Яи

• Ответы на вопросы по китайским знаниям: первое место в бенчмарках AGIEval и CMMLU, второе — в MMLU

• Извлечение информации: SOTA-результаты в zero-shot извлечении китайских сущностей, английский язык на уровне ChatGPT

• Мультимодальное взаимодействие: генерация по изображениям и тексту, анализ PDF, понимание веб-страниц в реальном времени

• Ролевые сценарии: поддержка десятков тысяч пользовательских ролей, длительные многоходовые диалоги

Техническая архитектура YAYI2 Яи

• 30 миллиардов параметров, поддержка сверхдлинного контекста 128k (обработка текста объёмом около 200 000 символов)

• Полностью предобучена с нуля, обладает полной интеллектуальной собственностью, совместима с отечественными GPU, такими как Huawei Ascend

• Обучающие данные включают 2,65 триллиона токенов, полученных из 200 ТБ исходных данных через более 1000 этапов очистки

• Поддержка 10+ языков, включая китайский и английский; лидирующий в Китае показатель сжатия китайских токенов

Отраслевые применения YAYI2 Яи

YAYI 2 демонстрирует выдающиеся возможности во множестве вертикальных отраслей, включая медиапропаганду, анализ общественного мнения, государственное управление и финансовый анализ. Кроме того, модель применяется в сферах образования, налогообложения, традиционной китайской медицины, финансов и других, предоставляя предприятиям AI-инструменты, системы вопросов-ответов на основе баз знаний, роботов для создания AI-контента и другие решения.

• Государственное управление: безопасное извлечение информации, формирование специализированных докладов по общественному мнению, интеллектуальное правовое согласование

• Финансовые сценарии: анализ финансовых отчётов, управление инвестиционным комплаенсом, интерпретация макроэкономической политики

• Медиаконтент: многоязычное написание новостей, понимание видео, генерация виртуальных ведущих

• Профессиональные инструменты: интеллектуальная диагностика в традиционной китайской медицине, корпоративные базы знаний с вопросами-ответами, поддержка языков программирования

По сравнению с открытой моделью Llama 2, YAYI 2 показывает лучшие результаты в китайскоязычных сценариях, а с помощью плагинов позволяет вызывать такие инструменты, как калькулятор и прогноз погоды. Архитектура безопасности усилена согласованием с ценностями, выходной контент проходит проверку в реальном времени, что делает модель подходящей для чувствительных государственных и корпоративных сценариев. YAYI уже внедрена в государственных ведомствах и финансовых учреждениях, установлено экосистемное сотрудничество с Huawei Cloud, Банком Пекина и другими организациями.

YAYI 2 предоставляется в двух версиях — Base и Chat; в открытый доступ выпущена версия Base, что позволяет разработчикам получить код, модель и обучающие данные на GitHub. Кроме того, модель распространяется по лицензии Apache-2.0, разрешающей коммерческое использование и доработку.

Репозиторий на GitHub: https://github.com/wenge-research/YAYI2

HuggingFace: https://huggingface.co/wenge-research/yayi2-30b