TangoFlux: 텍스트-오디오(TTA) 사운드 효과 생성 모델 105

TangoFlux는 싱가포르 기술디자인대학교(SUTD)와 NVIDIA가 협력하여 개발한 첨단 텍스트-오디오(TTA) 생성 모델로, 약 5.15억 개의 파라미터를 보유하고 있으며 단일 A40 GPU에서 단 3.7초 만에 44.1kHz 스테레오 오디오를 최대 30초까지 생성할 수 있습니다. TangoFlux는 새소리, 휘파람, 폭발음 등 효과음だけでなく 음악도 생성할 수 있습니다.

TangoFlux 기술 원리

• 변이형 자기부호화기: VAE를 사용하여 오디오 파형을 잠재 표현으로 부호화하고, 잠재 표현에서 원본 오디오를 재구성합니다.

• 텍스트 및 길이 임베딩: 텍스트 부호화와 길이 부호화를 기반으로 생성 오디오의 내용과 길이를 제어합니다.

• FluxTransformer 아키텍처: Diffusion Transformer(DiT)와 Multimodal Diffusion Transformer(MMDiT)를 결합하여 텍스트 프롬프트를 처리하고 오디오를 생성합니다.

• 플로우 매칭: 단순한 사전 분포에서 복잡한 목표 분포로의 매핑을 학습하여 샘플을 생성합니다.

• CLAP-Ranked Preference Optimization: 반복적으로 생성한 선호 데이터를 기반으로 오디오 정렬을 최적화합니다.

TangoFlux 주요 기능

• 빠른 오디오 생성: TangoFlux는 극히 짧은 시간 내에 고품질 오디오 콘텐츠를 생성할 수 있어 빠른 응답이 필요한 응용 시나리오에 적합합니다.

• 고음질 출력: 생성된 오디오의 품질이 높아 다양한 음향 이벤트를 선명하게 재현할 수 있으며, 음악, 효과음 등 여러 유형의 오디오 생성에 적합합니다.

• 긴 오디오 생성 지원: 이 모델은 최대 30초 길이의 오디오 생성 작업을 처리할 수 있어 비교적 긴 오디오 콘텐츠 제작에 적합합니다.

• 다양한 효과음 생성: TangoFlux는 음악을 생성할 수 있을 뿐만 아니라 새소리, 휘파람, 폭발음 등 다양한 효과음을 생성할 수 있어 여러 가지 창작 및 엔터테인먼트 프로젝트에 적합합니다.

TangoFlux 응용 시나리오

• 영화·게임 오디오 제작: TangoFlux는 각본이나 장면 설명에 따라 사실적인 효과음, 배경음악 및 더빙을 빠르게 생성할 수 있어 제작 주기를 단축하고 비용을 절감하며 작품의 오디오 품질을 높이고 게임의 상호작용성과 몰입감을 향상시킵니다.

• 음악 창작灵感의 원천: 창작자가 설정한 조건에 따라 다양한 음악 단편을 생성하여 창작의 병목을 돌파하고 음악 혁신을 촉진하여 더 많은 참신한 작품을 만들어냅니다.

• VR 및 AR 경험 강화: 가상 환경과 사용자 상호작용에 따라 실시간으로 사실적인 오디오를 생성하여 VR 게임의 몰입감을 높이고 AR 애플리케이션에서 가상과 현실의 융합에 대한 인식을 강화합니다.

• 광고·마케팅 오디오 혁신: 광고 아이디어와 브랜드 이미지에 따라 독특한 오디오를 생성하여 소비자의 관심을 끌고 공감을 불러일으키며 브랜드知名度와 미덕을 높입니다.

TangoFlux 프로젝트 자료

• 프로젝트 공식 사이트: tangoflux.github.io

• arXiv 기술 논문: https://export.arxiv.org/pdf/2412.21037

TangoFlux는 또한 CLAP-Ranked Preference Optimization(CRPO) 프레임워크를 채택하여, 선호 데이터를 반복적으로 생성하고 최적화함으로써 모델의 오디오 정렬 능력을 향상시킵니다. 이러한 방법을 통해 생성된 오디오는 품질이 보장될 뿐만 아니라 사용자의 선호와 입력 텍스트의 의도에 더욱 잘 부합합니다. 또한 TangoFlux의 훈련은 비독점 데이터셋을 기반으로 이루어져 모델이 더욱 개방적이고 접근 가능하며, 후속 연구 및 응용을 촉진합니다.

TangoFlux는 주로 영화, 게임, 광고 및 영상 제작에서 배경음악, 음향 효과 및 더빙을 생성함으로써 제작 효율을 높이고 비용을 절감하는 멀티미디어 콘텐츠 제작에 응용됩니다. 그 기술 원리에는 변이형 자기부호화기(VAE), 텍스트 및 길이 임베딩, FluxTransformer 아키텍처 등이 포함되며, 이러한 기술이 함께 효율적인 오디오 생성 능력을 뒷받침합니다.

관련 정보:

텍스트 음성 변환 소프트웨어