心辰 Lingo: 엔드투엔드 범용 음성 대형 모델 176

심천Lingo(心辰Lingo)는 시후심천(西湖心辰) 팀이 연구 개발한 중국 최초의 엔드투엔드(端到端) 범용 음성 AI 대형 모델입니다. 핵심적인 장점은 음성 속의 미세한 변화를 포착하여 음성 안의 텍스트 정보, 감정, 어조, 음색 등의 특징을 이해할 수 있다는 점입니다. 심천Lingo는 사용자의 언어를 이해할 뿐만 아니라 사용자의 의도와 감정을 깊이 있게 통찰하여 AI에 높은 감성 지능을 부여합니다. 이 모델은 중국어 음성 처리 분야에서 뛰어난 성능을 보이며, GPT-4o를 능가하는 수준까지 이르렀고 여러 영역에서 폭넓게 활용되고 있습니다.

심천Lingo 음성 모델은 시후심천 팀이 연구 개발한 중국 최초의 엔드투엔드 범용 음성 대형 모델로, 2024년 8월 24일에 내부 테스트 예약을 시작했으며 9월 5일 외탄(外滩) 대회에서 정식으로 공개되었습니다. 또한 10월에는 심천Lingo를 기반으로 영역별 심층 훈련을 거친 어린이 동반, 심리 상담, 판매 서비스 등 수직 분야 음성 모델을 발표할 계획이며, 이를 통해 AI 음성 기술의 혁신과 응용을 한층 더 촉진할 예정입니다.

심천Lingo 음성 대형 모델의 기능:

• 네이티브 음성 이해: 심천Lingo는 음성 속의 텍스트 정보를 인식할 뿐만 아니라 감정, 어조, 음색 같은 중요한 특징, 심지어 주변 소리까지 포착할 수 있습니다. 이를 통해 모델이 음성 내용을 보다 종합적으로 이해하고, 더욱 자연스럽고 생동감 있는 상호작용 경험을 제공할 수 있습니다.

• 다양한 음성 스타일 표현: 문맥과 사용자 지시에 따라 심천Lingo는 음성 속도, 고저, 잡음 강도를自适应(적응형)으로 조절할 수 있으며, 대화, 노래, 상셕(相声) 등 다양한 스타일의 음성 응답을 생성할 수 있어 여러 응용 상황에서 모델의 유연성과 적응성을 효과적으로 향상시킵니다.

• 음성 모달의 초고압축: 수백 배의 압축률을 가진 음성 코덱을 채택하여 계산 및 저장 비용을 크게 줄이면서도 고품질의 음성 출력을 보장합니다.

기존의 텍스트 음성 변환(TTS) 시스템과 비교했을 때, 심천Lingo는 엔드투엔드 음성 대형 모델로서 음성 입력에서 음성 피드백까지의 완전한 상호작용 흐름을 통합하여 사용자에게 보다 종합적이고 원활한 음성 상호작용 경험을 제공합니다. 또한 심천Lingo는 실시간 인터럽트, 실시간 명령 제어, 초휴먼라이크, 말하기 및 노래하기 등의 기술적 역량을 갖추고 있어 GPT-4o보다 더 뛰어난 중국어 음성 효과를 자랑합니다.

심천Lingo 음성 대형 모델 응용 분야:

• 교육: 지능형 음성 교육 및 학습 보조 제공.

• 금융: 고객 서비스 효율성과 만족도 향상.

• 의료 건강: 심리 건강 상담 및 개입에 활용.

• 정부 및 공공 서비스: 지능형 음성 서비스 제공.

• 미디어 및 엔터테인먼트: 풍부한 음성 상호작용 경험.

심천Lingo의 등장은 중국이 음성 기술 분야에서 중요한 돌파구를 마련했음을 상징하며, 이는 음성 입력에서 음성 출력까지 전 과정의无缝(매끄러운) 연결을 실현하여 음성 속의 미세한 변화를 포착하고 사용자의 감정을 이해합니다. 사용자의 의도를 깊이 이해하고, 동일한 풍부한 음성 형태로 응답합니다. 이러한 엔드투엔드 처리 기술은 전통적인 음성 처리 방식을 완전히 뒤집었으며, 심천Lingo 음성 대형 모델의 출현은 인간-기계 상호작용의 깊이와 폭을 풍부하게 했을 뿐만 아니라 지능형 음성 응용의 탐색과 실천에 새로운 가능성을 제공합니다. 변환 과정에서 정보 손실을 크게 줄여, '기계'가 인간의 언어를 보다 세밀하고 정확하게 이해하여 인간적인 상호작용 경험을 제공합니다.

현재 심천Lingo 엔드투엔드 범용 음성 대형 모델은 테스트 예약이 오픈되어 있으며, 많은 분들의 예약과 체험을 환영합니다.

관련 소식:

Seed-ASR: 바이트댄스의 자동 음성 인식 모델

10가지 우수한 오픈소스 TTS 음성 모델 추천

Seed-TTS: 바이트댄스가 개발한 고품질 텍스트 음성 변환 TTS 모델

텍스트 음성 변환 소프트웨어