Исследователь OpenAI: DeepSeek обнаружила некоторые ключевые идеи, лежащие в основе o1 198

Mark Chen (@markchen90) 28 января

Поздравляю DeepSeek с успешной разработкой модели рассуждений уровня o1! Их исследовательская работа показывает, что они обнаружили некоторые ключевые идеи, которые мы использовали в процессе реализации o1.

Тем не менее, я считаю, что реакция общественности на это достижение несколько чрезмерна, особенно в отношении нарратива о стоимости. Существование двух парадигм (предобучение и рассуждение) означает, что мы можем оптимизировать возможности по двум осям, а не только по одной, что снижает общую стоимость.

Но это также указывает на то, что мы можем масштабировать возможности в двух направлениях, и мы планируем активно инвестировать вычислительные ресурсы в оба направления!

С развитием исследований в области дистилляции мы также всё больше убеждаемся, что снижение стоимости и повышение возможностей становятся всё более независимыми друг от друга. Предоставление сервиса по более низкой стоимости (особенно при более высокой задержке) не означает способности достичь более высоких возможностей.

Мы продолжим оптимизировать модели, чтобы предоставлять сервис по более низкой стоимости, при этом сохраняя оптимистичный настрой в отношении наших исследовательских планов и сосредотачиваясь на их реализации. В первом квартале этого года и в течение всего года мы с нетерпением ждём возможности представить вам ещё более мощные модели!