대본 기획 도우미▸ 
AI 앱 
AI 뉴스 Aero-1-Audio: LMMs-Lab에서 개발한 컴팩트한 오디오 모델
小编 ·
Aero-1-Audio: LMMs-Lab에서 개발한 컴팩트한 오디오 모델
Aero-1-Audio란 무엇인가요?
Aero-1-Audio는 LMMs-Lab에서 개발한 컴팩트한 오디오 모델로, Qwen-2.5-1.5B 언어 모델을 기반으로 구축되었으며 24.2억 개의 파라미터와 MIT 라이선스를 채택하고 있습니다. 다양한 오디오 작업을 효율적으로 처리할 수 있어, 모바일 음성 비서, 회의 기록 및 전사 시스템, 교실 실시간 음성 전사 등 자원이 제한된 환경에서 고품질 오디오 처리 기능을 배포하는 시나리오에 적합합니다.
Aero-1-Audio 모델 특징
효율적인 성능: Aero-1-Audio는 Qwen-2.5-1.5B를 기반으로 구축되었으며, 파라미터 규모가 작음에도 불구하고 여러 오디오 벤치마크 테스트에서 뛰어난 성능을 보이고 Whisper, Qwen-2-Audio, ElevenLabs/Scribe 등 대규모 ai 모델을 능가합니다.
높은 훈련 효율: Aero-1-Audio 모델은 16개의 H100 GPU로 하루 만에 훈련을 완료했으며, 약 50억 개의 tokens(5만 시간 분량의 오디오에 해당)을 사용하는 고품질 필터링 데이터를 활용했습니다.
강력한 긴 오디오 처리 능력: Aero-1-Audio는 분할 없이 최대 15분 길이의 연속 오디오 입력을 처리할 수 있어, 이는 현재의 오디오 모델 중에서는 비교적 드문 기능입니다.
성능 평가
음성 인식 작업: AMI, LibriSpeech, SPGISpeech 등 데이터셋에서 Aero-1-Audio의 단어 오류율(WER)이 가장 낮습니다. 긴 음성 ASR 테스트에서는 성능 저하 폭이 가장 작습니다.
오디오 이해 작업: 오디오 분석 및 이해, 음성 명령 수행, 오디오 장면 이해 등 여러 차원에서 Aero-1-Audio는 다른 대형 모델보다 뛰어나거나 비슷한 성능을 보입니다.
기술적 장점
동적 배치 크기: Aero-1-Audio는 token 길이에 기반한 동적 배치 처리 전략을 사용하여 계산 자원 활용도를 높였습니다.
시퀀스 패킹: 시퀀스 패킹 기술과 Liger 커널 융합을 결합하여 평균 모델 FLOP 활용도(MFU)를 0.03에서 0.34로 향상시켜 훈련 효율을 높였습니다.
Aero-1-Audio 활용 시나리오
Aero-1-Audio는 교육, 의료, 엔터테인먼트 등 분야에서 활용될 수 있습니다. 예를 들어 강의 노트 자동 생성, 의사 진료 기록 보조, 실시간 비디오 자막 생성 등에 사용할 수 있습니다.
Aero-1-Audio 사용 방법
의존성 설치: 특정 버전의 transformers 라이브러리를 설치해야 하며, 명령은 python3 -m pip install transformers@git+https://github.com/huggingface/[email protected] 입니다.
간단한 데모: 관련 라이브러리와 함수를 import하고, 오디오를 로드한 다음 AutoProcessor 및 AutoModelForCausalLM 클래스를 사용하여 입력을 구성하고 출력을 생성함으로써 오디오 처리(예: 오디오 전사)를 구현할 수 있습니다.
배치 추론: 간단한 데모와 유사하게 여러 오디오를 처리할 수 있으며, 입력 데이터 형식과 매개변수 설정(예: 패딩 방향 설정 등)을 조정해야 합니다.
자주 묻는 질문
질문: Aero-1-Audio는 다른 대형 오디오 모델에 비해 어떤 점에서 우위에 있나요?
답변:Aero-1-Audio는 파라미터 활용이 더 효율적이며, Qwen-Omni 및 Phi-4 등 모델보다 훈련 데이터 양이 100배 이상 적음에도 불구하고 여전히 경쟁력 있는 성능을 보입니다. 또한 최대 15분 길이의 연속 오디오 입력을 정확하게 처리할 수 있어, 이는 다른 모델에서는 보기 드문 기능입니다.
질문: Aero-1-Audio 모델로 추론을 수행하기 전에 어떤准备工作을 해야 하나요?
답변:특정 버전의 transformers 라이브러리를 설치해야 하며, 명령은 python3 -m pip install transformers@git+https://github.com/huggingface/[email protected] 입니다. 성능을 향상시키고 싶다면 flash-attn을 설치할 수 있으며, 명령은 pip install --no-build-isolation flash-attn 이고, flash attn을 사용하고 싶지 않을 경우 sdpa 또는 eager를 선택할 수도 있습니다.
질문: Aero-1-Audio의 훈련 데이터에는 어떤 특징이 있나요?
답변:훈련 데이터는 20개 이상의 공개 데이터셋에서 가져온 약 50억 개의 토큰으로, 약 5만 시간 분량의 오디오 데이터에 해당합니다. 다른 모델에 비해 훈련 데이터 양은 적지만 샘플 효율이 높아, 적은 양의 데이터로도 경쟁력 있는 성능을 달성할 수 있습니다.
HuggingFace:https://huggingface.co/lmms-lab/Aero-1-Audio
