DeepSeek, DeepSeek-Prover-V2-671B 출시: 6710억 파라미터 MoE 아키텍처 기반 차세대 자동 정리 증명 모델 64

小编 · 2025-04-30

DeepSeek AI가 2025년 4월 30일 DeepSeek-Prover-V2-671B를 출시했습니다. 6710억 파라미터의 MoE 아키텍처를 기반으로 한 차세대 자동 정리 증명 모델로, Lean 4 프레임워크 내에서 증명을 생성하고 검증합니다. 형식 수학을 GPT-4 수준으로 끌어올리고, MoE로 인한 효율 향상, 오픈소스이자 상업적 이용 허용이라는 장점을 갖습니다. V1.5 대비 파라미터 수, 컨텍스트 길이, 통과율이 크게 개선되었으며, 수학

DeepSeek, DeepSeek-Prover-V2-671B 출시: 6710억 파라미터 MoE 아키텍처 기반 차세대 자동 정리 증명 모델

DeepSeek ai는 2025년 4월 30일에 DeepSeek-Prover-V2-671B를 출시했습니다. 이는 6710억 개의 파라미터를 가진 MoE 아키텍처 기반의 차세대 자동 정리 증명 모델로, Lean 4 프레임워크 내에서 증명을 생성하고 검증합니다. 그 장점에는 형식 수학을 "GPT-4 수준" 규모로 끌어올린 점, MoE로 인한 효율성 향상, 오픈 소스이며 상업적 사용이 허용된다는 점이 포함됩니다. V1.5 버전과 비교하여 파라미터 수, 컨텍스트 길이, 통과율 등에서显著的한 향상이 있습니다. miniF2F 등 벤치마크 테스트에서 뛰어난 성능을 보일 것으로 예상되며, 형식 검증, 수학 연구 가속화等领域에 사용될 수 있습니다. 사용할 때에는 Hugging Face에서 가중치를 다운로드하고 관련 설정을 완료해야 합니다.

DeepSeek发布DeepSeek-Prover-V2-671B：基于6710亿参数MoE架构的下一代自动定理证明模型.webp

기술 특징

파라미터 수와 아키텍처: 모델 총 파라미터 수는 6710억 개이며, MoE 아키텍처를 채택하여 토큰당 약 370억 개의 파라미터를 활성화합니다. 이러한 아키텍처는 강력한 추론 능력을 유지하는 동시에 메모리 요구 사항을 대폭 줄여줍니다.
컨텍스트 길이: 초장문 컨텍스트를 지원하며, 최대 위치 임베딩은 163840에 달하여 복잡한 수학 증명을 처리할 수 있습니다.
계산 정밀도: BF16, FP8, F32 등 다양한 계산 정밀도를 지원하여 모델이 더 빠르고 자원을 적게 들여 학습 및 배포될 수 있도록 합니다.
파일 형식: 보다 효율적인 safetensors 파일 형식을 사용합니다.
양자화 기술: FP8 양자화를 채택하여 양자화 기술을 통해 모델 크기를 줄이고 추론 효율을 높입니다.

技术特点.webp

주요 장점

규모와 복잡성: 막대한 파라미터 수와 긴 컨텍스트 윈도우(약 128k tokens)로 더 길고 복잡한 수학 증명 논리 체인을 처리할 수 있습니다.
효율성 최적화: MoE 아키텍처를 채택하여 완전 연결된 6710억 파라미터 모델에 비해 메모리 요구 사항을 크게 줄이고 추론 속도를 높였습니다.
오픈 소스와 라이선스: 모델은 오픈 소스이며 가중치는 Hugging Face에서 얻을 수 있고, 상업적 사용이 허용될 것으로 예상됩니다.