OpenAI 연구자: DeepSeek가 o1 구현 과정의 일부 핵심 아이디어를 발견했다 195

Mark Chen (@markchen90) 1월 28일

DeepSeek이 o1 급 추론 모델을 성공적으로 개발한 것을 축하합니다! 그들의 연구 논문은 우리가 o1을 구현하는 과정의 일부 핵심 개념을 발견했다는 것을 보여줍니다.

그러나 저는 외계의 이 성과에 대한 반응이 다소 과도하다고 생각하며, 특히 비용에 대한叙述에서 그러합니다. 두 개의 패러다임(사전 학습과 추론)이 존재한다는 것은 우리가 하나의 축만이 아니라 두 개의 축을 따라 능력을 최적화할 수 있다는 것을 의미하며, 이는 전체 비용을 절감합니다.

하지만 이는 또한 우리가 두 방향으로 능력을 확장할 수 있다는 것을 의미하며, 우리는 이 두 방향에 대해 적극적으로 컴퓨팅 자원을 투입할 계획입니다!

증류 연구의 발전에 따라, 우리는 비용 절감과 능력 향상 사이의 관계가 점점 더 독립적이라는 사실도 발견했습니다. 더 낮은 비용으로 서비스를 제공하는 것(특히 높은 지연 시간의 경우)이 더 높은 능력을 구현하는 것을 의미하지는 않습니다.

우리는 계속해서 더 낮은 비용으로 서비스를 제공할 수 있도록 모델을 최적화하는 동시에 우리의 연구 계획에 대해 낙관적으로 유지하고 실행에 집중할 것입니다. 올해 1분기와 연중내내, 우리는 모두에게 더욱 강력한 모델을 제공할 수 있기를 기대합니다!