SpeechGPT 2.0-preview: 상호작용 및 상황 인지를 위한 최초의 음성 대화 모델 123

复旦大学OpenMOSS인공지능 공개 실험실이 실시간 상호작용 및 상황 인지를 위한 최초의 오픈소스 음성 대화 모델을 출시했습니다: SpeechGPT 2.0-preview. SpeechGPT 2.0-preview은(는) 백만 시간 규모의 중국어 음성 데이터로 학습되었으며, 엔드투엔드 아키텍처를 통해 음성과 텍스트 모달리티의 높은 융합을 실현하고, 지시에 따라 다감정·다스타일의 음성을 생성할 수 있으며, 특정 캐릭터의 감정을 모방하는 것도 가능합니다.

1. 핵심 기술 돌파

1. 엔드투엔드 음성 모델링

모델은 의미-음향 결합 모델링을 통해 음성 입력을 직접 처리하고 음성 또는 텍스트 출력을 생성하며, 기존의 캐스케이드 방식 ASR(음성 인식) 및 TTS(음성 합성) 모듈이 필요하지 않습니다. 자체 개발한 초저 비트 분포 스트리밍 음성 Codec(750bps)은(는) 음성을 초당 75개의 토큰으로 압축하며, Codec Patchify 기술과 결합하여 인접한 시간 단계의 음성 토큰을 통합 벡터로 집계함으로써, 크로스 모달 모델링 충돌을 효과적으로 완화하고 스트리밍 입력 및 출력을 지원하여 200ms 이내 지연의 실시간 상호작용을 실현합니다.

2. 음성-텍스트 혼합 모델링

모델은 다단계 학습 프로세스를 채택합니다:

• 모달리티 적응 사전 학습: 라벨링되지 않은 음성 데이터를 활용해 음성 모달리티 특징을 학습;

• 크로스 모달리티 지시 미세 조정: 대규모 크로스 모달리티 지시 데이터셋(SpeechInstruct)을 통해 지시 이해 능력을 향상;

• 체인 모달리티 미세 조정: 크로스 모달리티 전환의 정밀도를 최적화하며, 예를 들어 음성 지시를 받은 후 텍스트로 사고하고 음성으로 응답하는 방식.

3. 다중 모달리티 능력 정렬

음성-텍스트 정렬 사전 학습을 통해 모델은 명시적으로 학습되지 않은 일반화 능력이 "창발"하여, 예를 들어 발화 속도 조정 데이터 없이도 발화 속도를 제어하거나, 보지 못한 캐릭터의 어조 스타일을 모방할 수 있습니다.

2. 기능 특성과 성능

1. 휴머노이드 상호작용 경험

감정 및 스타일 제어: 다감정(예:虚弱,欢快 등), 다음색(남녀 전환) 및 다스타일(시 낭송, 방언 모방)의 정밀한 제어를 지원하며, 역할 수행 능력이 뛰어남;

2. 실시간 중단 상호작용: 백 밀리초 수준의 응답 속도로 자연스러운 대화에서 즉각적인 중단과 이어붙이기를 지원합니다.

지능과 실용성

• 텍스트 능력 통합: 음성 표현력 위에서 텍스트 모델의 지능을 유지하며, 도구 호출, 인터넷 검색, 외부 지식 베이스 연동 등의 기능을 지원;

• 다중 작업 호환성: 긴 문서 파싱, 다회 대화 등 시나리오를 처리할 수 있으며, 짧은 텍스트 작업의 성능은 긴 컨텍스트 능력으로 인해 저하되지 않음.

3. 오픈소스 생태계 지원

모델 코드, 가중치 및 기술 보고서가 완전 오픈소스(Apache 2.0 라이선스)로 제공되며, Hugging Face 사전 학습 모델과 Gradio 데모 인터페이스를 제공하고 로컬 배포를 지원;

vLLM 프레임워크를 통합하여 추론 효율을 최적화하고, 스파스 어텐션 메커니즘으로 메모리 사용량을 96.7% 줄이며, 처리 속도를 3-7배 향상시켰습니다.

3. 적용 시나리오

• 지능형 어시스턴트: 자연스러운 음성 상호작용을 지원하는 고객 서비스, 교육 또는 의료 어시스턴트, 예: 실시간 회화 연습, 감정적陪伴;

• 콘텐츠 창작: 오디오북, 시 낭송 또는 방언 콘텐츠를 자동 생성하여 멀티미디어 창작 형식을 풍부하게 함;

• 접근성 통신: 청각 장애 또는 언어 장애인을 위한 실시간 음성-텍스트 변환 및 합성 서비스 제공.

SpeechGPT 2.0-preview은(는) 엔드투엔드 아키텍처와 크로스 모달리티 정렬 기술을 통해 음성 상호작용의 저지연, 고정밀 및 고지능을 실현하여, 오픈소스 커뮤니티의 음성 대형 모델 분야에서의 중요한 돌파가 되었습니다. 오픈소스 생태계와 다중 시나리오 적응 능력은 개발자에게 효율적인 도구를 제공할 뿐만 아니라, 인간-기계 상호작용을 감성적이고 자연스러운 방향으로 심화시키는 데 기여합니다.

Github 코드 저장소:https://github.com/OpenMOSS/SpeechGPT-2.0-preview

온라인 체험: https://sp2.open-moss.com (테스트해 보니 약간 느리고, 웃을 때 끊기지만 꽤 자연스럽고, 다만 동문서답임)