Fin-R1 : un grand modèle de langage de raisonnement financier basé sur Qwen2.5 200

小编 · 2025-03-22

Fin-R1 est un grand modèle de langage de raisonnement pour le domaine financier, développé conjointement par l'équipe du professeur Zhang Liwen de l'École de statistique et de science des données de l'Université des finances et de l'économie de Shanghai (SUFE-AIFLM-Lab) avec Caiyue Star. Basé sur Qwen2.5-7B-Instruct, il exploite le framework DeepSeek-R1 pour la distillation des données et un filtrage qualité en deux passes. Grâce à un fine-tuning supervisé sur des données de chaîne de pensée de haute qualité combiné à de l'apprentissage par renforcement, Fin-R1 résout efficacement les problèmes de fragmentation des données, de logique de raisonnement incontrôlable et de généralisation métier insuffisante dans le secteur financier.

Fin-R1 : un grand modèle de langage de raisonnement financier basé sur Qwen2.5

Qu'est-ce que Fin-R1 ?

Fin-R1 est un grand modèle de langage de raisonnement dans le domaine financier, développé conjointement par l'équipe du professeur Zhang Liwen de la School of Statistics and Data Science de l'Université des Finances et de l'Économie de Shanghai (SUFE-aiFLM-Lab) et Caiyue Xingchen. Le modèle Fin-R1 est basé sur Qwen2.5-7B-Instruct et utilise le cadre DeepSeek-R1 pour effectuer la « distillation de données » et le « double filtrage de qualité ». Grâce au fine-tuning supervisé et à l'apprentissage par renforcement sur des données de chaîne de pensée de haute qualité, il résout efficacement les problèmes de fragmentation des données, de logique de raisonnement incontrôlable et d'insuffisance de la capacité de généralisation métier dans le domaine financier, offrant un soutien solide à la transformation intelligente du secteur financier.

Fin-R1 : un grand modèle de langage de raisonnement conçu pour le domaine financier.webp

Architecture du modèle

Fin-R1 adopte une architecture en deux phases pour l'entraînement :

Phase de génération des données : grâce à des méthodes de distillation et de filtrage des données, un ensemble de données de raisonnement financier de haute qualité, Fin-R1-Data, est construit à partir de plusieurs sources de données faisant autorité.
Phase d'entraînement du modèle : sur la base du modèle Qwen2.5-7B-Instruct, l'entraînement est effectué par fine-tuning supervisé (SFT) et apprentissage par renforcement (RL).

Caractéristiques de l'ensemble de données Fin-R1

Échelle et qualité : Fin-R1-Data contient environ 60 091 chaînes de pensée (CoT) complètes, couvrant des connaissances professionnelles multidimensionnelles dans le domaine financier en chinois et en anglais.
Conception modulaire : l'ensemble de données est divisé en quatre modules : code financier, connaissances professionnelles financières, connaissances métier non liées au raisonnement financier et connaissances métier liées au raisonnement financier.

Caractéristiques principales de Fin-R1

Domaine spécialisé : consacré au raisonnement financier, couvrant plusieurs dimensions telles que le code financier, les connaissances spécialisées et les connaissances métier.
Piloté par les données : entraîné sur l'ensemble de données de raisonnement financier de haute qualité Fin-R1-Data, contenant environ 60 091 chaînes de pensée complètes.
Méthode d'entraînement : adopte une combinaison de fine-tuning supervisé (SFT) et d'apprentissage par renforcement (RL), garantissant la précision et la fiabilité du modèle dans les tâches de raisonnement financier.
Conception légère : avec seulement 700 millions de paramètres, le modèle offre néanmoins d'excellentes performances.

Fin-R1 : un grand modèle de langage de raisonnement conçu pour le domaine financier.webp

Performances

Évaluation faisant autorité : dans les évaluations de référence du domaine financier, il obtient un score moyen de 75,2 points, se classant à la deuxième place.
Performances sur les tâches : il obtient respectivement 76,0 points et 85,0 points sur les tâches FinQA et ConvFinQA, se classant premier parmi les modèles évalués.
Capacité de généralisation : il fait également preuve d'une forte capacité de généralisation inter-tâches dans d'autres tests de référence financiers.

Applications de Fin-R1

Code financier : utilisé pour le code de programmation permettant la mise en œuvre de modèles financiers, d'algorithmes et de tâches d'analyse.
Calcul financier : réalisation d'analyses quantitatives et de calculs pour fournir une base à la prise de décision financière.
Conformité et sécurité financière : prévention de la criminalité financière et garantie de la conformité des opérations métier avec les exigences réglementaires.
Contrôle des risques intelligent : utilisation de l'IA et des technologies de big data pour identifier et gérer les risques financiers.
Analyse ESG : évaluation des performances des entreprises en matière environnementale, sociale et de gouvernance.

Étapes d'utilisation de Fin-R1

Télécharger le modèle : téléchargez les poids du modèle via la page Hugging Face.
Démarrer le service : utilisez l'outil vllm pour démarrer le service du modèle.
Exécution du raisonnement : appelez le modèle pour le raisonnement via le format de l'API OpenAI.