Xiaomi MiMo: Xiaomi의 최초 추론 특화 오픈소스 대규모 언어 모델 81

小编 · 2025-04-30

Xiaomi MiMo는 2025년 4월 30일 Xiaomi가 발표한 추론 전용 최초 오픈소스 대규모 AI 모델입니다. MiMo-7B 시리즈는 대규모 언어 모델의 추론 잠재력을 최대한 끌어올리며, 사후 학습뿐만 아니라 추론에 특화된 사전 학습 전략도 중시합니다. 7B라는 상대적으로 작은 규모에서도 많은 32B 모델을 능가하는 추론 능력을 보여주며, MiMo-7B-RL은 수학 및 코드 추론 작업에서 OpenAI o1-mini에 버금가는 성능을 발휘합니다.

Xiaomi MiMo: Xiaomi의 최초 추론 특화 오픈소스 대규모 언어 모델

Xiaomi MiMo는 샤오미가 2025년 4월 30일에 오픈소스로 공개한, 추론을 위해 태어난 최초의 ai 대형 모델입니다. MiMo - 7B 시리즈 모델은 언어 모델의 추론 잠재력을 충분히 발굴하여, 사후 학습에만 집중하는 것이 아니라 추론을 위한 사전 학습 전략에도 주의를 기울입니다. 이 시리즈 모델은 상대적으로 작은 7B 규모에서도 많은 32B 모델을 능가하는 추론 능력을 보여주며, 그중 MiMo - 7B - RL은 수학 및 코드 추론 작업에서 OpenAI o1 - mini와媲할 만한 성능을 발휘합니다.

Xiaomi MiMo：샤오미가 오픈소스로 공개한 최초의 “추론을 위해 태어난” 대형 모델.webp

MiMo 핵심 특징

사전 학습

데이터 전처리 최적화: 텍스트 추출 도구 키트를 개선하고 다차원 데이터 필터링을 채택하여 사전 학습 데이터의 추론 패턴 밀도를 높였습니다.
합성 데이터 생성: 다양한 전략을 활용해 방대하고 다양한 합성 추론 데이터를 생성합니다.
3단계 데이터 혼합: 사전 학습에 3단계 데이터 혼합 전략을 사용하며, MiMo - 7B - Base는 약 25조 개의 토큰에서 사전 학습되었습니다.
다중 토큰 예측: 다중 토큰 예측을 추가 학습 목표로 도입하여 모델 성능을 향상시키고 추론을 가속화합니다.

사후 학습

고품질 학습 데이터: RL 학습 데이터로 130K 개의 수학 및 코드 문제를 정교하게 선별했으며, 각 문제는 꼼꼼하게 정제되고 난이도가 평가되었고 규칙 기반 검증기를 사용해 데이터 품질을 보장합니다.
코드 보상 메커니즘: 도전적인 코드 문제를 위해 테스트 난이도 기반 코드 보상을 도입하여, 서로 다른 난이도의 테스트 케이스에 세분화된 점수를 부여해 정책을 최적화합니다.

코드 보상 메커니즘: 도전적인 코드 문제를 위해 테스트 난이도 기반 코드 보상을 도입하여, 서로 다른 난이도의 테스트 케이스에 세분화된 점수를 부여해 정책을 최적화합니다.
데이터 리샘플링: 간단한 문제에 대해 데이터 리샘플링 전략을 실시하여 롤링 샘플링 효율을 높이고 정책 업데이트를 안정화합니다.

RL 인프라

원활한 롤아웃 엔진: 연속 롤아웃, 비동기 보상 계산, 조기 종료 기능을 통합한 원활한 롤아웃 엔진을 개발하여 GPU 유휴 시간을 줄이고, 학습 속도를 2.29배, 검증 속도를 1.96배 향상시켰습니다.
MTP 지원: vLLM에서 MTP를 지원하고 RL 시스템 내 추론 엔진의 견고성을 강화합니다.

MiMo 모델 버전

MiMo - 7B - Base: 뛰어난 추론 잠재력을 가진 기본 모델
MiMo - 7B - RL - Zero: 기본 모델에서 학습된 RL 모델
MiMo - 7B - SFT: 기본 모델에서 학습된 SFT 모델
MiMo - 7B - RL: SFT 모델에서 학습된 RL 모델로, OpenAI o1 - mini와相当的한 성능을 보입니다.

기술 세부 사항 및 혁신 포인트

사전 학습 데이터 최적화: 다차원 데이터 필터링과 합성 추론 데이터 생성을 통해 사전 학습 데이터의 품질과 추론 패턴 밀도를 향상시켰습니다.
MTP 모듈: 사전 학습에 MTP 모듈을 도입하여 추론 작업의 성능과 추론 속도를 크게 향상시켰습니다.
RL 인프라: 원활한 롤아웃 엔진(Seamless Rollout Engine)을 개발하여 RL 학습 및 검증 과정을 가속화하고 각각 2.29배와 1.96배의 속도 향상을实现했습니다.
테스트 난이도 기반 보상 메커니즘: 코드 문제의 희소 보상 문제를 해결하기 위해 테스트 난이도 기반 보상 메커니즘을 제안하여 어려운 문제에 대한 모델의 학습 효율을 높였습니다.

실험 및 결과

사전 학습 모델 성능

MiMo-7B-Base: BBH, SuperGPQA 등 여러 벤치마크 테스트에서 다른 7B 파라미터 규모의 오픈소스 모델을 능가했습니다.
추론 잠재력 평가: pass@k 지표를 사용해 모델의 추론 잠재력을 평가했으며, MiMo-7B-Base는 모든 벤치마크 테스트에서 더 높은 pass@k 점수를 보여주었습니다.

사후 학습 모델 성능

MiMo-7B-RL-Zero: MiMo-7B-Base에서 직접 RL 학습을 수행하여 강력한 추론 능력을 보여주었습니다.
MiMo-7B-RL: SFT 모델에서 RL 학습을 수행하여, 최종적으로 수학 및 코드 작업에서 OpenAI의 o1-mini 모델을 능가했습니다.
구체적인 성능: