NSA: технология DeepSeek для ускорения обучения и инференса на сверхдлинном контексте 189

DeepSeek команда 18 февраля 2025 года представила инновационный механизм внимания под названием NSA (Native Sparse Attention). NSA направлен на решение проблем вычислительной эффективности и производительности, возникающих при обработке длинных текстов. Эта технология, благодаря аппаратно-согласованному дизайну и нативной поддержке обучения, позволяет значительно повысить скорость логического вывода и снизить затраты на предварительное обучение.

Основные особенности NSA:

• Аппаратная дружественность: при проектировании учитывалась совместимость с различными аппаратными архитектурами, что направлено на повышение эффективности обучения.

• Возможность локального обучения: поддерживает обучение непосредственно на данных, что повышает адаптивность и гибкость модели.

• Эффективный логический вывод и обучение: ускоряет обработку длинного контекста, способствует применению сложных моделей, эффективно справляется с более длинными последовательными данными, такими как текст и видео.

• Динамическая иерархическая стратегия разреженности: использование методов тонкозернистого выбора токенов и грубозернистого сжатия токенов позволяет сохранять информацию, одновременно снижая вычислительную сложность.

• Снижение затрат: благодаря оптимизированному дизайну значительно сокращается потребление ресурсов при обучении моделей глубокого обучения, включая временные и вычислительные затраты, что особенно ценно для исследователей и разработчиков.

Основные компоненты NSA:

• Динамическая иерархическая стратегия разреженности: сочетание грубозернистого сжатия токенов и тонкозернистого выбора токенов повышает эффективность и обеспечивает восприятие моделью глобального контекста и локальных деталей.

• Аппаратно-согласованный дизайн: оптимизация доступа к памяти, адаптация к тензорным ядрам GPU, поблочная загрузка данных, снижение избыточных передач, повышение эффективности параллелизма.

• Сквозное обучение: поддержка полного цикла разреженных вычислений от предварительного обучения до логического вывода, сохранение стабильности обратного распространения, предотвращение проблемы «отставания в обучении», характерной для традиционных методов разреженности.

Технические детали NSA:

• Динамическая иерархическая стратегия разреженности: гибкое определение ключевой и игнорируемой информации, оптимизация обработки информации, обеспечение захвата ключевой глобальной семантики при обработке длинного контекста с одновременным снижением вычислительной нагрузки.

• Грубозернистое сжатие токенов: за счёт объединения похожих или незначительных токенов сокращается объём обработки данных и ускоряются вычисления, сохраняя при этом понимание грубозернистой семантики текста.

• Тонкозернистый выбор токенов: дальнейший отбор важных токенов в сжатых данных, обеспечивающий внимание модели к деталям, сохранение локальной точности и предотвращение потери важной информации.

• Скользящее окно: использование механизма скользящего окна для захвата информации локального контекста, предотвращая игнорирование близких взаимосвязей.

Результаты производительности NSA:

• Повышение скорости: при обработке последовательностей длиной 64k NSA обеспечивает значительное повышение скорости на этапах декодирования, прямого и обратного распространения, достигающее до 11,6 раз.

• Превосходная производительность: в ряде бенчмарков NSA демонстрирует результаты, сопоставимые с моделями с полным вниманием или даже превосходящие их, особенно в задачах с длинным контекстом и инструктивным рассуждением.

Области применения NSA:

• Интеллектуальные ассистенты: реализация более сложных многотуровых диалогов и персонализированного обслуживания.

• Научные вычисления: обработка длинных последовательных данных, например, в физическом моделировании и инженерном моделировании.

• Генерация и отладка кода: понимание больших кодовых баз и генерация высококачественных решений.

Статья NSA:https://arxiv.org/abs/2502.11089

DeepSeek — это китайская компания, специализирующаяся на общем искусственном интеллекте, стремящаяся раскрыть ключевые технологии AGI и реализовать их в продуктах. DeepSeek уже выпустила ряд высокопроизводительных открытых ai-моделей, таких как DeepSeek-V2, поддерживающая понимание длинных текстов с контекстом 128k, а также DeepSeek-R1-Lite-Preview, показавшая отличные результаты в китайском бенчмарке MT-Bench.