OpenAI-Forscher: DeepSeek hat einige Kernideen hinter o1 entdeckt 194

Mark Chen (@markchen90) 28. Januar

Herzlichen Glückwunsch an DeepSeek zur erfolgreichen Entwicklung eines Reasoning-Modells auf o1-Niveau! Ihre Forschungsarbeit zeigt, dass sie einige der Kernideen entdeckt haben, die wir bei der Umsetzung von o1 verwendet haben.

Ich denke jedoch, dass die Reaktion der Außenwelt auf diese Leistung etwas übertrieben ist, insbesondere was die Erzählung über die Kosten angeht. Es gibt zwei Paradigmen (Pretraining und Reasoning), was bedeutet, dass wir die Fähigkeiten auf zwei Achsen optimieren können, nicht nur auf einer, und das senkt die Gesamtkosten.

Aber es zeigt auch, dass wir die Fähigkeiten in beide Richtungen skalieren können, und wir planen, in beide Richtungen aktiv Rechenressourcen zu investieren!

Mit den Fortschritten in der Destillationsforschung stellen wir außerdem fest, dass die Beziehung zwischen Kostensenkung und Steigerung der Fähigkeiten zunehmend unabhängiger wird. Dienste zu geringeren Kosten bereitzustellen (insbesondere bei höherer Latenz) bedeutet nicht, eine höhere Fähigkeit zu erreichen.

Wir werden unsere Modelle weiterhin optimieren, um Dienste zu geringeren Kosten bereitzustellen, und bleiben gleichzeitig optimistisch in Bezug auf unsere Forschungspläne und konzentrieren uns auf die Umsetzung. Im ersten Quartal dieses Jahres und das ganze Jahr über freuen wir uns darauf, Ihnen noch leistungsfähigere Modelle zu liefern!