대본 기획 도우미▸ 
AI 앱 
AI 뉴스 OmniTalker: Alibaba의 실시간 텍스트 기반 화상 아바타 프레임워크
小编 ·
OmniTalker: Alibaba의 실시간 텍스트 기반 화상 아바타 프레임워크
OmniTalker란 무엇인가요?
OmniTalker는 알리바바 통의实验室(통이연구소)이 개발한 실시간 텍스트 기반 말하는 아바타 ai 멀티모달 생성 프레임워크입니다. 입력된 텍스트 내용을 기반으로 이에 맞는 음성과 비디오 애니메이션을 실시간으로 생성할 수 있습니다. 생성된 음성과 비디오는 고품질일 뿐만 아니라, 마치 실제 "디지털 휴먼"이 대화하는 것처럼 얼굴 표정과 머리 움직임을 생생하게 모방합니다. OmniTalker는 중국어와 영어 간 상호 변환을 지원하며, 차분함, 기쁨, 슬픔, 분노 등 감정 표현과 긴 비디오 생성을 지원합니다.
OmniTalker 기능 특징
멀티모달 입력 처리: 텍스트, 이미지, 오디오, 비디오 등 다양한 모달을 인식할 수 있습니다.
스트리밍 생성: 텍스트와 자연스러운 음성 응답을 스트리밍 방식으로 생성하며, 오디오와 비디오 인코더는 블록 단위 처리 방식을 채택하여 긴 시퀀스 멀티모달 데이터 처리를 분리합니다.
오디오-비디오 정밀 동기화: TMRoPE 기술을 통해 비디오와 오디오 입력의 정밀한 동기화를 보장합니다.
실시간 상호작용: 블록 단위 입력과 즉시 출력을 지원하여 완전한 실시간 상호작용이 가능합니다.
자연스럽고流畅한 음성 생성: 음성 생성의 자연스러움과 안정성 면에서 뛰어난 성능을 보이며, 기존의 많은 스트리밍 및 비스트리밍 대안들을 능가합니다.
성능 우위: 멀티모달 벤치마크 테스트에서 뛰어난 성능을 보이며, 오디오 능력은 비슷한 크기의 Qwen2-Audio보다 우수하고 Qwen2.5-VL-7B와 동일한 수준을 유지합니다.
OmniTalker 핵심 기술
1. 듀얼 브랜치 확산 트랜스포머(DiT) 아키텍처
오디오 브랜치와 비주얼 브랜치 포함:
오디오 브랜치: 텍스트로부터 고품질 음성을 합성합니다.
비주얼 브랜치: 머리 자세와 얼굴의 역학을 예측합니다.
새로운 오디오-비주얼 융합 모듈을 통해 오디오와 비디오 출력의 시간적 동기화와 스타일 일관성을 보장합니다.
2. 컨텍스트 참조 학습
OmniTalker는 단일 참조 비디오에서 음성과 얼굴 스타일 특징을 캡처할 수 있으며, 추가적인 스타일 추출 모듈이 필요하지 않습니다. 이는 입력된 텍스트가 무엇이든 OmniTalker가 참조 비디오의 스타일과高度 일치하는 음성 및 비디오 콘텐츠를 생성할 수 있음을 의미합니다.
3. 실시간성과 효율성
OmniTalker는 25 FPS 속도로 음성과 비디오를 실시간으로 생성할 수 있으며, 이는同类 기술 중 매우 선도적인 수준입니다. 이러한 효율적인 추론 속도 덕분에 OmniTalker는 실시간 비디오 채팅, 가상 라이브 방송 등 시나리오에 적용될 수 있으며, 사용자에게 부드러운 상호작용 경험을 제공합니다.
OmniTalker 활용 시나리오
지능형 음성 비서: 사용자의 음성 명령을 처리하고 실시간으로 음성 응답을 생성합니다.
멀티모달 콘텐츠 창작: 텍스트, 이미지, 비디오 입력을 동시에 처리하여相应的 텍스트 또는 음성 설명을 생성합니다.
교육 및 훈련: 교육 내용에 따라 음성과 비디오를 생성하는 가상 교사를 만듭니다.
가상 고객 서비스 및 비서: 실시간으로 음성과 비디오 응답을 생성하는 가상 고객 서비스 또는 비서를 만듭니다.
엔터테인먼트 및 미디어: 실시간으로 공연 콘텐츠를 생성하는 가상 방송인, 배우를 만듭니다.
OmniTalker 장점
고품질 생성: 생성된 음성과 비디오 콘텐츠의 품질이 높으며, 음성 억양, 리듬, 얼굴 표정의 미묘한 변화를 포함하여 참조 비디오의 스타일을 정확하게 복제합니다.
제로샷 학습: 대량의 학습 데이터가 필요하지 않으며, 입력된 텍스트와 참조 비디오를 기반으로 빠르게 콘텐츠를 생성하여 다양한 시나리오와 요구 사항에 적응할 수 있습니다.
실시간 상호작용: 25 FPS 속도로 음성과 비디오를 실시간으로 생성하며, 지연이 낮아 실시간 비디오 채팅, 가상 라이브 방송 등 시나리오에 적합합니다.
프로젝트 공식 사이트:https://humanaigc.github.io/omnitalker/
기술 논문:https://arxiv.org/pdf/2504.02433v1
