Fin-R1: un modelo de lenguaje de razonamiento financiero basado en Qwen2.5 204

¿Qué es Fin-R1?

Fin-R1 es un modelo de lenguaje grande de razonamiento en el ámbito financiero, desarrollado conjuntamente por el equipo del profesor Zhang Liwen de la Facultad de Estadística y Ciencia de Datos de la Universidad de Finanzas y Economía de Shanghái (SUFE-aiFLM-Lab) y Caiyue Xingsheng. El modelo Fin-R1 se basa en Qwen2.5-7B-Instruct como modelo base, y utiliza el marco DeepSeek-R1 para llevar a cabo la "destilación de datos" y el "filtrado de calidad de doble ronda". Mediante el ajuste supervisado con datos de cadenas de pensamiento de alta calidad y el aprendizaje por refuerzo, resuelve eficazmente problemas como la fragmentación de datos, la lógica de razonamiento incontrolable y la insuficiente capacidad de generalización empresarial en el ámbito financiero, brindando un sólido apoyo a la transformación inteligente de la industria financiera.

Arquitectura del modelo

Fin-R1 adopta una arquitectura de dos etapas para el entrenamiento:

• Fase de generación de datos: mediante métodos de destilación y filtrado de datos, se construye un conjunto de datos de razonamiento financiero de alta calidad llamado Fin-R1-Data a partir de múltiples fuentes de datos autorizadas.

• Fase de entrenamiento del modelo: basado en el modelo Qwen2.5-7B-Instruct, se entrena mediante ajuste fino supervisado (SFT) y aprendizaje por refuerzo (RL).

Características del conjunto de datos Fin-R1

• Escala y calidad: Fin-R1-Data contiene aproximadamente 60.091 cadenas de pensamiento (CoT) completas, que abarcan conocimientos profesionales multidimensionales del ámbito financiero vertical en chino e inglés.

• Diseño modular: el conjunto de datos se divide en cuatro módulos principales: código financiero, conocimientos profesionales financieros, conocimientos empresariales no basados en razonamiento financiero y conocimientos empresariales basados en razonamiento financiero.

Características principales de Fin-R1

• Ámbito especializado: se centra en el razonamiento financiero, abarcando múltiples dimensiones como código financiero, conocimientos profesionales y conocimientos empresariales.

• Basado en datos: entrenado a partir del conjunto de datos de razonamiento financiero de alta calidad Fin-R1-Data, que contiene aproximadamente 60.091 cadenas de pensamiento completas.

• Método de entrenamiento: adopta una combinación de ajuste fino supervisado (SFT) y aprendizaje por refuerzo (RL), garantizando la precisión y fiabilidad del modelo en tareas de razonamiento financiero.

• Diseño ligero: el número de parámetros es de solo 7 mil millones, pero su rendimiento es excelente.

Rendimiento

• Evaluación autorizada: en evaluaciones autorizadas del ámbito financiero, obtuvo una puntuación media de 75.2 puntos, ocupando el segundo lugar.

• Rendimiento en tareas: obtuvo 76.0 puntos y 85.0 puntos en las tareas FinQA y ConvFinQA respectivamente, situándose en el primer puesto entre los modelos evaluados.

• Capacidad de generalización: también muestra una sólida capacidad de generalización entre tareas en otras pruebas de referencia financieras.

Aplicaciones de Fin-R1

• Código financiero: código de programación utilizado para implementar modelos, algoritmos y tareas de análisis financieros.

• Cálculo financiero: realización de análisis cuantitativos y cálculos para proporcionar una base para la toma de decisiones financieras.

• Cumplimiento y seguridad financiera: prevención de delitos financieros y garantía de que las operaciones comerciales cumplan con los requisitos regulatorios.

• Control de riesgos inteligente: utilización de IA y tecnologías de big data para identificar y gestionar riesgos financieros.

• Análisis ESG: evaluación del desempeño de las empresas en materia ambiental, social y de gobernanza.

Pasos para utilizar Fin-R1

1. Descargar el modelo: descargue los pesos del modelo desde la página de Hugging Face.

2. Iniciar el servicio: utilice la herramienta vllm para iniciar el servicio del modelo.

3. Ejecución de inferencia: llame al modelo para realizar inferencias utilizando el formato de la API de OpenAI.

Enlaces relacionados con Fin-R1

Descarga del modelo:https://huggingface.co/SUFE-AIFLM-Lab/Fin-R1

Artículo:https://arxiv.org/pdf/2503.16252