DeepSeek R1: DeepSeek가 출시한 오픈소스 추론 모델, OpenAI o1에 필적하는 성능 348

DeepSeek R1이란 무엇인가?

DeepSeek R1은 중국인공지능 회사 深度求索(DeepSeek)에서 출시한 오픈소스 추론 대규모 모델로, 강화학습 기반의 기술 경로를 통해 수학, 코드, 자연어 추론 등 복잡한 작업에서 Openai의 o1 정식 버전과 동등한 성능을 달성하였으며, 특히 추론 작업에서 뛰어난 성능을 보입니다. 강화학습 기술을 채택하여 모델의 추론 능력을 크게 향상시켰고,极少한标注 データ만으로도 효율적인 훈련을 구현했습니다. 이러한 방법을 통해 DeepSeek-R1은 비용 측면에서도 장점을 가지며, OpenAI의 3%에 불과한 운영 비용을 주장하고 있습니다.

DeepSeek R1 핵심 기술:

1. 강화학습 기반 추론 능력

• 순수 강화학습(RL) 훈련: DeepSeek R1-Zero는 기초 모델에 직접 대규모 강화학습을 적용하며, 지도 미세조정(SFT) 없이 순수 RL만으로 LLM의 추론 능력을 촉발할 수 있음을 최초로 검증했습니다. GRPO 알고리즘(그룹 상대 정책 최적화)을 통해 훈련 비용을 절감하고, 규칙 기반 보상 시스템(정확성 보상 및 형식 보상)을 활용하여 모델이 구조화된 사고의 사슬(CoT)을 생성하도록 유도합니다.

• 콜드 스타트 데이터 최적화: R1-Zero의 가독성 및 언어 혼합 문제를 해결하기 위해, DeepSeek R1은 소량의 콜드 스타트 데이터(긴 CoT 예시)를 도입하고, 다단계 훈련(콜드 스타트 미세조정 → 추론 지향 RL → 전 시나리오 RL)을 통해 출력의 가독성과 범용성을 향상시켰습니다.

장쇄 추론 및 모델 증류

• 초장문 사고의 사슬 지원: 128K 컨텍스트 윈도우를 지원하며, 복잡한 문제를 다단계 추론으로 분해할 수 있습니다. 예를 들어 수학 문제에서 수만 자에 달하는 상세한推导 과정을 생성합니다.

• 고효율 증류 기술: 800k 샘플을 통해 R1의 추론 능력을 Qwen 및 Llama 시리즈의 소형 모델(예: 7B, 32B, 70B)로 증류하며, 그 중 Qwen-32B 증류 버전은 AIME 2024 테스트에서 72.6%의 pass@1 정확도를 달성하여 o1-mini에 근접한 성능을 보입니다.

2. 성능 및 벤치마크 테스트

수학 및 코딩 능력

• 수학 경시대회 수준 성능: AIME 2024(미국 수학 초대 경시대회)에서 R1의 pass@1 정확도는 79.8%에 달하며, MATH-500 벤치마크 테스트에서는 97.3%의 성적으로 OpenAI-o1-1217을 능가했습니다. 중국 高考(대학입시) 수학 최상위 난이도 문제 테스트에서 R1은 단 83초 만에 풀이를 완료했지만, 풀이 단계의规范性이 부족한 문제가 존재합니다.

• 코드 생성 전문가 수준: Codeforces 대회에서 2029 Elo 레이팅을 획득(인간 참가자의 96.3% 초과)했으며, LiveCodeBench 테스트에서 pass@1 65.9%를 달성했습니다. 사용자 실측 결과, R1은 양자역학 시각화 코드를 단 9분 만에 생성하고 바로 실행할 수 있었습니다.

범용 언어 및 지식 작업

• 다영역 종합 능력: MMLU(다작업 언어 이해) 테스트에서 90.8%, MMLU-Pro에서 84%, GPQA Diamond에서 71.5%의 점수를 획득하여 DeepSeek-V3을 크게 능가하며 OpenAI-o에 근접한 수준입니다.

• 인문 및 역사 추론: 중국어 두뇌 회전 문제 정답률 100%를 달성했으며, 고대 이집트 역사 및 아프리카 원주민 등 복잡한 역사 문제에 대해서도 논리적으로 명확한 답변을 제공하여 비추론 모델보다 풍부한 정보를 보여줍니다.

3. 오픈소스 생태계 및 저비용 우위

오픈소스 전략 및 비즈니스 친화성

• MIT 라이선스 오픈소스: 완전 모델(671B 파라미터) 및 6개의 증류 모델(1.5B-70B)이 모두 오픈소스로 제공되며, 무료 상업적 이용, 수정 및 2차 개발을 지원합니다. 예를 들어, Qwen-14B 증류 버전은 데스크톱급 하드웨어에서 실행 가능하며, LiveCodeBench 점수는 53.1%입니다.

• API 가격 혁명: 입력 Token 비용은 캐시 히트 시 1위안/백만에 불과하며, 출력 Token은 단 16위안/백만으로 OpenAI-o1 가격의 약 3.7% 수준입니다. 사용자 실측 결과 단일 API 호출 비용은 0.06달러까지 낮출 수 있습니다.

개발자도구 및 통합 지원

• 다중 플랫폼 배포: Hugging Face, vLLM 프레임워크 및 Spring AI 통합을 지원하며, 개발자가 간단한 설정만으로 모델을 호출할 수 있습니다. 예를 들어, Spring AI 사용자는 의존성 추가 및 API 키 설정만으로接入할 수 있습니다.

• 추론 안정성 최적화: API는 기본적으로 temperature 파라미터를关闭하여 출력 결과의 안정성을 보장하며, reasoning_content 및 content 필드를 통해 사고의 사슬과 최종 답변을 각각 반환합니다.

4. 활용 시나리오

• 연구 및 교육: 수학 모델링, 코드 생성 및 역사 분석을 보조하며, 상세한 추론 과정을 제공하여 학술 연구를 지원합니다. 예를 들어, 양자역학 애니메이션 코드를 생성하거나 복잡한 수학 문제를 분석합니다.

• 기업 지능화: 고객 서비스 시스템, 데이터 분석 도구 또는 자동화 의사결정 플랫폼에 통합하여 AI 배포 비용을 절감합니다.

R1은 오픈소스 전략과 초저비용(훈련 비용 557.6만 달러, GPT-4의 약 1/10)으로 업계 가격 경쟁을 촉발했으며, Meta 등 기업이 이미 전담 팀을 구성하여 그 기술 경로를 연구하고 있습니다.

Yann LeCun 등 전문가들은 R1의 성공이 오픈소스 모델이 '추격자'에서 '선도자'로 전환되는 이정표라고 평가하며, 이는 전 세계 개발자 협업과 기술 혁신을 촉진한다고 보고 있습니다.

DeepSeek R1은 강화학습 기반 추론 능력과 오픈소스 저비용 전략으로 AI 분야의 중요한 돌파구가 되었습니다. 수학, 코드 등 전문 작업에서 뛰어난 성과를 보일 뿐만 아니라, 오픈소스 생태계를 통해 전 세계 기술 혁신을 추진하여 AGI 발전에 새로운 패러다임을 제공합니다.