YAYI2：中文名为“雅意”,中科闻歌开源大语言模型_云技派 156

YAYI2, un nuevo modelo de lenguaje de código abierto desarrollado por Zhongke Wenge, cuyo nombre en chino es "雅意" (Yayí). Este modelo incluye las versiones Base y Chat, con una escala de parámetros达到 de 30B, y está construido sobre la arquitectura Transformer.

YAYI2 fue pre-entrenado con más de 2 billones de tokens de corpus multilingüe de alta calidad. Para escenarios de aplicación generales y de dominio específico, ajustamos el modelo con instrucciones a nivel de millones y, al mismo tiempo, empleamos métodosología de aprendizaje por retroalimentación humana para alinear mejor el modelo con los valores humanos.

Capacidades centrales de YAYI2 雅意

• Preguntas y respuestas de conocimiento en chino: número uno en las evaluaciones AGIEval y CMMLU, segundo en MMLU

• Extracción de información: SOTA en extracción de entidades en chino de cero ejemplos, comparable a ChatGPT en inglés

• Interacción multimodal: generación cruzada de imágenes y texto, análisis de PDF, comprensión web en tiempo real

• Role-playing: compatible con más de diez mil roles personalizados y diálogos extensos con correlación entre turnos

Arquitectura técnica de YAYI2 雅意

• Escala de 30 mil millones de parámetros, compatible con un contexto ultra largo de 128k (procesamiento de unos 200 000 caracteres de texto)

• Pre-entrenamiento desde cero, con derechos de propiedad intelectual totalmente independientes, compatible con GPUs nacionales como Huawei Ascend

• Datos de entrenamiento que contienen 2,65 billones de tokens, provenientes de 200 TB de datos brutos refinados mediante más de 1000 procesos de limpieza

• Soporta más de 10 idiomas como chino e inglés, con una tasa de compresión de tokens en chino líder en el país

Aplicaciones sectoriales de YAYI2 雅意

YAYI 2 muestra capacidades destacadas en múltiples campos verticales, incluyendo medios de comunicación y propaganda, análisis de opinión pública, gobernanza administrativa y análisis financiero. Además, se aplica en sectores como educación, fiscalidad, medicina tradicional china y finanzas, ofreciendo a las empresas ai辅助herramientas, sistemas de preguntas y respuesta sobre bases de conocimiento, y soluciones de robots de creación con IA.

• Ámbito gubernamental: extracción segura de información, generación de informes especiales sobre opinión pública, aprobación legal inteligente

• Escenarios financieros: análisis de informes financieros, gestión de cumplimiento de inversiones, interpretación de políticas macroeconómicas

• Creación de medios: redacción de noticias multilingüe, comprensión de vídeo, generación de presentadores virtualess

• Herramientas profesionales: consulta inteligente en medicina tradicional china, preguntas y respuestas sobre bases de conocimiento empresariales, soporte de lenguajes de programación

En comparación con el modelo de código abierto Llama 2, YAYI 2 tiene un mejor desempeño en escenarios en chino, y mediante complementos puede implementar llamadas a herramientas como calculadoras y consultas meteorológicas. Su arquitectura de seguridad refuerza la alineación de valores, y el contenido generado se somete a revisión en tiempo real, lo que lo hace adecuado para escenarios sensibles en administraciones y empresas. YAYI ya se ha implementado en ministerios nacionales e instituciones financieras, y ha establecido cooperación ecológica con Huawei Cloud y Banco de Beijing, entre otros.

YAYI 2 ofrece dos versiones, Base y Chat; la versión de código abierto es la versión Base, que permite a los desarrolladores obtener el código, el modelo y los datos de entrenamiento en GitHub. Además, este modelo sigue el acuerdo Apache-2.0, lo que permite su uso comercial y desarrollo secundario.

Repositorio de GitHub: https://github.com/wenge-research/YAYI2

HuggingFace: https://huggingface.co/wenge-research/yayi2-30b