Aero-1-Audio: компактная аудиомодель от LMMs-Lab 60

Что такое Aero-1-Audio?

Aero-1-Audio — это компактная аудиомодель, разработанная LMMs-Lab, построенная на базе языковой модели Qwen-2.5-1.5B, обладающая 2,42 миллиардами параметров и распространяемая по лицензии MIT. Она эффективно справляется с различными аудиозадачами и подходит для сценариев развёртывания высококачественной обработки аудио в условиях ограниченных ресурсов, таких как голосовые ассистенты на смартфонах, системы записи и транскрибирования совещаний, а также транскрибирование речи в реальном времени на занятиях и т. д.

Особенности модели Aero-1-Audio

• Высокая производительность: Aero-1-Audio построена на базе Qwen-2.5-1.5B и, несмотря на небольшое количество параметров, демонстрирует отличные результаты в ряде аудиобенчмарков, превосходя даже многие более масштабные ai-модели, такие как Whisper, Qwen-2-Audio и ElevenLabs/Scribe.

• Высокая эффективность обучения: обучение модели Aero-1-Audio было завершено всего за один день с использованием 16 GPU H100 и около 5 миллиардов токенов (эквивалент 50 000 часов аудио) качественно отфильтрованных данных.

• Мощные возможности обработки длинного аудио: Aero-1-Audio способна обрабатывать непрерывные аудиовходы длительностью до 15 минут без необходимости разбиения, что является редкостью среди современных аудиомоделей.

Оценка производительности

• Задачи распознавания речи: на наборах данных AMI, LibriSpeech и SPGISpeech модель Aero-1-Audio демонстрирует наименьший показатель частоты ошибок в словах (WER). В тестах ASR для длинной речи снижение её производительности оказывается минимальным.

• Задачи понимания аудио: по множеству параметров, включая анализ и понимание аудио, следование голосовым инструкциям и понимание аудиосцен, Aero-1-Audio показывает выдающиеся результаты, превосходя или не уступая другим крупным моделям.

Технические преимущества

• Динамический размер батча: Aero-1-Audio использует стратегию динамического батчинга на основе длины токенов, что повышает эффективность использования вычислительных ресурсов.

• Упаковка последовательностей: благодаря технологии упаковки последовательностей в сочетании с ядерным слиянием Liger средняя загрузка модели по FLOP (MFU) увеличилась с 0,03 до 0,34, что повысило эффективность обучения.

Сценарии применения Aero-1-Audio

Aero-1-Audio находит применение в таких областях, как образование, медицина и развлечения, например, для автоматического создания конспектов лекций, помощи врачам в ведении медицинских карт, генерации субтитров к видео в реальном времени и т. д.

Как использовать Aero-1-Audio

• Установка зависимостей: необходимо установить определённую версию библиотеки transformers с помощью команды python3 -m pip install transformers@git+https://github.com/huggingface/[email protected].

• Простая демонстрация: путём импорта соответствующих библиотек и функций, загрузки аудио, использования классов AutoProcessor и AutoModelForCausalLM, формирования входных данных и генерации выходных данных осуществляется обработка аудио, например, его транскрибирование.

• Пакетный инференс: аналогично простой демонстрации, но с возможностью обработки нескольких аудиофайлов; при этом требуется корректировка формата входных данных и настроек параметров, например, направления заполнения.

Часто задаваемые вопросы

Вопрос: В чём преимущества Aero-1-Audio по сравнению с другими крупными аудиомоделями?

Ответ: Aero-1-Audio использует параметры более эффективно, объём обучающих данных у неё более чем в 100 раз меньше, чем у таких моделей, как Qwen-Omni и Phi-4, однако производительность остаётся конкурентоспособной. Кроме того, она способна точно обрабатывать непрерывные аудиовходы длительностью до 15 минут, что редко встречается в других моделях.

Вопрос: Какие подготовительные действия необходимо выполнить перед инференсом с помощью модели Aero-1-Audio?

Ответ: Необходимо установить определённую версию библиотеки transformers с помощью команды python3 -m pip install transformers@git+https://github.com/huggingface/[email protected]. Если вы хотите повысить производительность, можно установить flash-attn командой pip install --no-build-isolation flash-attn; если использование flash-attn нежелательно, можно также выбрать sdpa или eager.

Вопрос: Каковы особенности обучающих данных Aero-1-Audio?

Ответ: Обучающие данные получены из более чем 20 публичных наборов данных и включают около 5 миллиардов токенов, что соответствует примерно 50 000 часов аудиоданных. По сравнению с другими моделями объём обучающих данных у неё меньше, но при этом она отличается высокой эффективностью выборки, позволяя модели достигать конкурентоспособной производительности при меньшем объёме данных.

HuggingFace: https://huggingface.co/lmms-lab/Aero-1-Audio