Un chercheur d'OpenAI affirme que DeepSeek a découvert certaines idées clés derrière o1 204

Mark Chen (@markchen90)28 janvier

Félicitations à DeepSeek pour avoir réussi à développer un modèle de raisonnement de niveau o1 ! Leur article de recherche montre qu'ils ont découvert certaines des idées centrales que nous utilisons dans le processus de mise en œuvre d'o1.

Cependant, je pense que la réaction du monde extérieur à cette réalisation est quelque peu excessive, en particulier concernant le récit autour des coûts. Deux paradigmes (le pré-entraînement et le raisonnement) signifient que nous pouvons optimiser les capacités sur deux axes, et non sur un seul, ce qui réduit le coût global.

Mais cela montre également que nous pouvons étendre les capacités dans deux directions, et nous prévoyons d'investir activement des ressources de calcul dans ces deux directions !

Avec les progrès de la recherche sur la distillation, nous constatons également que la relation entre la réduction des coûts et l'amélioration des capacités devient de plus en plus indépendante. Fournir des services à un coût plus faible (en particulier avec une latence plus élevée) ne signifie pas être capable d'atteindre des capacités plus élevées.

Nous continuerons à optimiser nos modèles pour fournir des services à moindre coût tout en restant optimistes quant à notre programme de recherche et en nous concentrant sur sa mise en œuvre. Au cours du premier trimestre et tout au long de l'année, nous avons hâte de vous proposer des modèles encore plus puissants !