Fin-R1: Ein finanzielles Reasoning-LLM auf Basis von Qwen2.5 196

小编 ·

Fin-R1: Ein finanzielles Reasoning-LLM auf Basis von Qwen2.5

Fin-R1 ist ein Reasoning-LLM für den Finanzbereich, das gemeinsam vom Team von Professor Zhang Liwen an der School of Statistics and Data Science der Shanghai University of Finance and Economics (SUFE-AIFLM-Lab) zusammen mit Caiyue Star entwickelt wurde. Basierend auf Qwen2.5-7B-Instruct nutzt es das DeepSeek-R1-Framework für Datendestillation und zweistufige Qualitätsfilterung. Durch überwachtes Feintuning mit hochwertigen Chain-of-Thought-Daten in Kombination mit Reinforcement Learning adressiert Fin-R1 effektiv Probleme wie fragmentierte Daten, unkontrollierbare Reasoning-Logik und unzureichende betriebliche Generalisierung im Finanzbereich.

Fin-R1: Ein finanzielles Reasoning-LLM auf Basis von Qwen2.5

Was ist Fin-R1?

Fin-R1 ist ein推理型大语言模型 (reasoning large language model) für den Finanzbereich, entwickelt vom Team von Professor Zhang Liwen (张立文) der School of Statistics and Data Science der Shanghai University of Finance and Economics (SUFE-aiFLM-Lab) in Zusammenarbeit mit Caiyue Xingshen (财跃星辰). Das Fin-R1-Modell basiert auf Qwen2.5-7B-Instruct und nutzt das DeepSeek-R1-Framework für „Datendestillation" und „zweistufige Qualitätsfilterung". Durch überwachtes Feintuning und verstärkendes Lernen mit hochwertigen Chain-of-Thought-Daten werden Probleme wie Datenfragmentierung, unkontrollierbare Inferenzlogik und unzureichende Business-Generalisierungsfähigkeit im Finanzbereich effektiv gelöst. Dies bietet eine starke Unterstützung für die intelligente Transformation der Finanzbranche.

Fin-R1:一款专为金融领域设计的推理型大语言模型.webp

Modellarchitektur

Fin-R1 verwendet eine zweistufige Architektur für das Training:

  • Datengenerierungsphase: Durch Datendestillation und Filterungsverfahren wird aus mehreren autoritativen Datenquellen ein hochwertiges Finanz-Inferenz-Datenset namens Fin-R1-Data aufgebaut.

  • Modelltrainingsphase: Basierend auf dem Modell Qwen2.5-7B-Instruct wird das Training mittels überwachtem Feintuning (SFT) und verstärkendem Lernen (RL) durchgeführt.

Merkmale des Fin-R1-Datensets

  • Umfang und Qualität: Fin-R1-Data enthält etwa 60.091 vollständige Chain-of-Thought-Datensätze (CoT) und deckt mehrdimensionale Fachkenntnisse im vertikalen Finanzbereich in Chinesisch und Englisch ab.

  • Modulares Design: Das Datenset ist in vier große Module unterteilt: Finanzcode, Finanzfachwissen, nicht-inferenzbasiertes Finanzbusiness-Wissen und inferenzbasiertes Finanzbusiness-Wissen.

Kernmerkmale von Fin-R1

  • Fachbereich: Konzentriert sich auf Finanzinferenz und deckt mehrere Dimensionen wie Finanzcode, Fachwissen und Business-Wissen ab.

  • Datengetrieben: Das Training basiert auf dem hochwertigen Finanz-Inferenz-Datenset Fin-R1-Data, das etwa 60.091 vollständige Chain-of-Thought-Datensätze enthält.

  • Trainingsmethode: Es wird eine Kombination aus überwachtem Feintuning (SFT) und verstärkendem Lernen (RL) verwendet, um die Genauigkeit und Zuverlässigkeit des Modells bei Finanz-Inferenz-Aufgaben sicherzustellen.

  • Leichtgewichtiges Design: Die Parameteranzahl beträgt nur 7 Milliarden, dennoch zeigt das Modell eine hervorragende Leistung.

Fin-R1:一款专为金融领域设计的推理型大语言模型.webp

Leistungsfähigkeit

  • Autoritative Bewertung: In autoritativen Bewertungen im Finanzbereich erreicht das Modell eine durchschnittliche Punktzahl von 75,2 und belegt damit den zweiten Platz.

  • Aufgabenleistung: In den Aufgaben FinQA und ConvFinQA erzielt es 76,0 bzw. 85,0 Punkte und belegt damit den ersten Platz unter den bewerteten Modellen.

  • Generalisierungsfähigkeit: Auch in anderen Finanz-Benchmark-Tests zeigt es eine starke Generalisierungsfähigkeit über verschiedene Aufgaben hinweg.

Fin-R1-Anwendungen

  • Finanzcode: Wird zur Implementierung von Finanzmodellen, Algorithmen und Analyseaufgaben verwendeter Programmiercode.

  • Finanzberechnungen: Durchführung quantitativer Analysen und Berechnungen als Grundlage für finanzielle Entscheidungen.

  • Finanzsicherheit und Compliance: Vorbeugung von Finanzkriminalität und Sicherstellung der Einhaltung gesetzlicher Vorschriften bei Geschäftsabläufen.

  • Intelligentes Risikomanagement: Nutzung von KI- und Big-Data-Technologien zur Identifizierung und Steuerung finanzieller Risiken.

  • ESG-Analyse: Bewertung der Leistung von Unternehmen in den Bereichen Umwelt, Soziales und Unternehmensführung.

Nutzungsschritte für Fin-R1

  1. Modell herunterladen: Laden Sie die Modellgewichte über die Hugging Face-Seite herunter.

  2. Dienst starten: Verwenden Sie das vllm-Tool, um den Modelldienst zu starten.

  3. Inferenz ausführen: Rufen Sie das Modell über das OpenAI-API-Format für Inferenzen auf.

Links zu Fin-R1

Modelldownload:https://huggingface.co/SUFE-AIFLM-Lab/Fin-R1

Paper:https://arxiv.org/pdf/2503.16252