Fin-R1: Qwen2.5 기반 금융 추론 대규모 언어 모델 198

Fin-R1이란 무엇인가요?

Fin-R1은 상하이 재경대학(上海财经大学) 통계 및 데이터 과학교学院的 장리원(Zhang Liwen) 교수 연구팀(SUFE-aiFLM-Lab)이 차이위에싱청(财跃星辰)과 공동 개발한 금융 분야 추론형 대형 언어 모델입니다. Fin-R1 모델은 Qwen2.5-7B-Instruct를 기반으로 하며, DeepSeek-R1 프레임워크를 사용하여 "데이터 증류"와 "이중 라운드 품질 선별"을 수행하고, 고품질 사고 사슬 데이터의 지도 미세 조정(SFT) + 강화 학습을 통해 금융 분야에서의 데이터 파편화, 추론 논리의 제어 불가, 비즈니스 일반화 능력 부족 등의 문제를 효과적으로 해결하여 금융行业的 지능형 전환에 강력한 지원을 제공합니다.

모델 아키텍처

Fin-R1은 두 단계 아키텍처를 채택하여 학습합니다:

• 데이터 생성 단계: 데이터 증류 및 선별 방법을 통해 여러 권위 있는 데이터 소스에서 고품질의 금융 추론 데이터셋 Fin-R1-Data를 구축합니다.

• 모델 학습 단계: Qwen2.5-7B-Instruct 모델을 기반으로 지도 미세 조정(SFT)과 강화 학습(RL)을 통해 학습을 진행합니다.

Fin-R1 데이터셋 특징

• 규모와 품질: Fin-R1-Data는 약 60,091개의 완전한 사고 사슬(CoT)을 포함하며, 중·영문 금융 수직领域的 다차원적 전문 지식을 포괄합니다.

• 모듈형 설계: 데이터셋은 금융 코드, 금융 전문 지식, 금융 비추론형 비즈니스 지식, 금융 추론형 비즈니스 지식의 네 가지 모듈로 나뉩니다.

Fin-R1 핵심 특징

• 전문 분야: 금융 추론에 집중하며 금융 코드, 전문 지식, 비즈니스 지식 등 여러 차원을 포괄합니다.

• 데이터 기반: 고품질 금융 추론 데이터셋 Fin-R1-Data를 기반으로 학습되었으며, 약 60,091개의 완전한 사고 사슬을 포함합니다.

• 학습 방식: 지도 미세 조정(SFT)과 강화 학습(RL)을 결합한 방식을 채택하여 금융 추론 작업에서의 모델 정확성과 신뢰성을 보장합니다.

• 경량화 설계: 매개변수 량이 7억에 불과하지만 성능이 매우 우수합니다.

성능表現

• 권위 있는 평가: 금융 분야의 권위 있는 평가에서 평균 75.2점을 획득하여 2위를 차지했습니다.

• 작업 성과: FinQA 및 ConvFinQA 작업에서 각각 76.0점과 85.0점을 받아 평가 대상 모델 중 1위를 차지했습니다.

• 일반화 능력: 다른 금융 벤치마크 테스트에서도 강력한 교차 작업 일반화 능력을 보여주었습니다.

Fin-R1 응용 분야

• 금융 코드: 금융 모델, 알고리즘 및 분석 작업을 구현하는 데 사용되는 프로그래밍 코드.

• 금융 계산: 정량 분석 및 계산을 수행하여 금융 의사 결정의 근거를 제공합니다.

• 금융 안전 컴플라이언스: 금융 범죄를 방지하고 업무 운영이 법적 요구 사항을 준수하도록 보장합니다.

• 지능형 리스크 관리: AI 및 빅데이터 기술을 활용하여 금융 리스크를 식별하고 관리합니다.

• ESG 분석: 기업의 환경, 사회 및 지배 구조 측면의 성과를 평가합니다.

Fin-R1 사용 단계

1. 모델 다운로드: Hugging Face 페이지를 통해 모델 가중치를 다운로드합니다.

2. 서비스 시작: vllm 도구를 사용하여 모델 서비스를 시작합니다.

3. 추론 실행: OpenAI API 형식을 통해 모델을 호출하여 추론을 수행합니다.

Fin-R1 관련 링크

모델 다운로드:https://huggingface.co/SUFE-AIFLM-Lab/Fin-R1

논문:https://arxiv.org/pdf/2503.16252