Mercury: первая коммерческая диффузионная большая языковая модель (dLLM) 200

Что такое Mercury?

Mercury — это первая коммерческая диффузионная большая языковая модель (dLLM), выпущенная стартап-компанией Inception Labs. В бенчмарке Copilot Arena Mercury Coder превзошла по скорости несколько существующих моделей, включая GPT-4o Mini и Claude 3.5 Haiku. На практике Mercury Coder способна генерировать высококачественный код с очень высокой скоростью.

Технические принципы

• Диффузионная модель: Mercury использует технологию диффузионной модели, которая, в отличие от традиционных авторегрессионных моделей, генерирует текст по принципу «от грубого к тонкому» — начиная с чистого шума и постепенно, через несколько шагов удаления шума, формируя осмысленный текст.

• Параллельная генерация: Используя механизм параллельной генерации на GPU, Mercury способна одновременно изменять несколько токенов во время генерации текста, что значительно повышает скорость и эффективность.

Инновационные особенности

• Преимущество в скорости: Mercury работает на NVIDIA H100 со скоростью более 1000 токенов в секунду, что в 5–10 раз быстрее существующих оптимизированных по скорости LLM.

• Экономическая эффективность: Благодаря новому методу генерации языка Mercury снижает стоимость инференса в 10 раз, сохраняя при этом производительность на уровне передовых моделей.

• Способность к исправлению ошибок: Особенности диффузионной модели позволяют Mercury постоянно улучшать вывод в процессе генерации, исправляя ошибки и галлюцинации.

Функциональные возможности Mercury

• Технология диффузионной модели: Mercury использует диффузионную модель, которая генерирует текст по принципу «от грубого к тонкому» — начиная с чистого шума и постепенно формируя осмысленный текст.

• Параллельная генерация: Используя механизм параллельной генерации на GPU, Mercury способна одновременно изменять несколько токенов во время генерации текста, что значительно повышает скорость и эффективность.

• Преимущество в скорости: Работает на NVIDIA H100 со скоростью более 1000 токенов в секунду, что в 5–10 раз быстрее существующих оптимизированных по скорости LLM.

• Экономическая эффективность: Благодаря новому методу генерации языка Mercury снижает стоимость инференса в 10 раз, сохраняя при этом производительность на уровне передовых моделей.

• Способность к исправлению ошибок: Особенности диффузионной модели позволяют Mercury постоянно улучшать вывод в процессе генерации, исправляя ошибки и галлюцинации.

Применение Mercury

• Программирование и генерация кода: Mercury Coder специально оптимизирована для генерации кода и демонстрирует отличные результаты в стандартных бенчмарках кодирования, работая более чем в 10 раз быстрее традиционных моделей.

• Применение в агентах: Высокая скорость и эффективность Mercury делают её отличным выбором для приложений, требующих масштабного планирования и генерации длинных текстов, таких как интеллектуальная поддержка клиентов, помощники по коду и т. д.

• Периферийные приложения: Благодаря своей эффективности Mercury отлично работает в средах с ограниченными ресурсами, например в приложениях на смартфонах или ноутбуках.

• Продвинутое рассуждение: Mercury может использовать исправление ошибок для устранения галлюцинаций и повышения качества ответов, что подходит для задач, требующих глубокого рассуждения.

• Управляемая генерация: Mercury может редактировать вывод и генерировать слова в произвольном порядке, что подходит для сценариев, требующих гибкой генерации контента.

Как пользоваться Mercury?

Установка и настройка: Mercury Coder уже запущена и доступна для публичного тестирования. Пользователи могут опробовать её возможности через playground, предоставленный Inception Labs, или использовать API и сервисы внутреннего развёртывания для корпоративных приложений.

Опыт и тестирование: Пользователи могут испытать мощь Mercury Coder на официальном сайте Inception Labs, вводя требования к коду и мгновенно получая высококачественный код.

Онлайн-тестирование:https://chat.inceptionlabs.ai/

Официальная информация:https://www.inceptionlabs.ai/news