Grok от Маска стал open-source: ссылки на скачивание и исходный код на GitHub 245

Крупная языковая модель Grok-1, разработанная AI-компанией xAI, принадлежащей Маску, после нескольких месяцев обучения и подготовки была официально выпущена в открытый доступ 18 марта 2024 года. Grok-1 обладает колоссальными 314 миллиардами параметров, превышая модель GPT-3.5 от OpenAI, и на сегодняшний день является крупнейшей моделью с открытым исходным кодом по количеству параметров. Этот релиз осуществляется в соответствии с лицензией Apache 2.0, что означает, что разработчики могут свободно загружать, использовать, изменять и распространять веса и архитектуру модели Grok-1.

Официальный сайт Grok:https://grok.x.ai/

Ссылка для скачивания исходного кода Grok на GitHub:https://github.com/xai-org/grok-1

Grok-1 — это базовая модель, обученная на большом объёме текстовых данных и не прошедшая тонкую настройку под конкретные задачи. Она использует архитектуру смеси экспертов (Mixture-of-Experts, MOE) — метод машинного обучения, который повышает эффективность обработки задач за счёт объединения выходных данных нескольких вспомогательных моделей (экспертов). Объём исходных весов Grok-1 составляет примерно 300 ГБ, и они опубликованы на GitHub в открытом доступе.

Почему Маск открыл исходный код Grok?

Этот шаг Маска был предпринят на фоне напряжённых отношений с OpenAI и поданного против неё судебного иска. Между Маском и соучредителем OpenAI Альтманом существует давний конфликт. Маск открыто критиковал OpenAI за отступление от её изначальной идеи открытого исходного кода и превращение организации, созданной для противостояния Google, в коммерческую структуру, сотрудничающую с Microsoft. Поэтому Маск решил продемонстрировать свою приверженность принципам открытости и совместного использования в сфере ИИ, выпустив исходный код Grok-1.

Кроме того, путём открытия исходного кода Маск надеется привлечь больше разработчиков и пользователей, расширить своё влияние, а также получить больше данных для xAI, что поможет постоянно совершенствовать и оптимизировать технологию.

Значение открытого релиза Grok от Маска

Открытый выпуск Grok-1 напрямую будет стимулировать развитие технологий ИИ и способствовать конкуренции и разнообразию. Он обеспечивает новый импульс для развития сферы ИИ и может вызвать новую технологическую революцию. Одновременно это является вызовом существующим стратегиям коммерциализации в области ИИ — Маск пытается с помощью открытого исходного кода изменить направление развития технологий ИИ, чтобы они в большей степени соответствовали его личному видению.