모듈레이트, AI 음성 탐지 1.6초로 단축…Velma 성능 분석 확대

오디오 AI 기업 모듈레이트(Modulate)가 음성 분석 플랫폼 Velma의 합성 음성 탐지 시간 중앙값을 2.25초에서 1.6초로 단축했다고 11월 10일 발표했다. 회사에 따르면 실제 AI·사람 음성 통화에서 탐지 정확도는 99.1% 초과를 유지했다. AI 발신자를 실시간으로 식별하고 AI 음성 에이전트의 대화 품질을 분석하는 기능도 강화했다.

새 탐지 기술은 개별 모델 제공업체의 워터마크에 의존하지 않고 음성 자체를 분석한다. 음성을 입력받아 음성을 생성하는 모델과 양방향으로 동시에 대화하는 전이중 음성 모델 등 다양한 시스템의 합성 음성을 식별할 수 있도록 설계됐다. 기업은 통화 도중 AI 발신 여부를 파악해 연결 경로를 바꾸거나 표시를 붙이고, 별도 정책이나 추가 인증을 적용할지 판단할 수 있다. 모듈레이트는 메타(Meta)의 Muse 같은 개인용 AI 음성 에이전트의 통화 증가와 합성 음성·딥페이크 위협에 대응하고 있다고 설명했다.

Velma는 의도, 조작 시도, 어조, 대화 행동까지 함께 분석해 정상적인 AI 에이전트와 사기 가능성이 있거나 의심스러운 상호작용을 구별하도록 돕는다. 카터 허프먼 모듈레이트 공동창업자 겸 최고경영자는 “저녁 식사 예약 같은 일상 업무에 개인용 음성 에이전트가 더 흔히 쓰이면서, 음성이 합성됐다는 사실만으로는 더 이상 유용한 판단 기준이 되지 않는다”며 “정당하게 예약하는 AI 에이전트와 직원을 사칭하는 딥페이크 모두 합성 음성을 사용할 수 있다”고 말했다. 이어 “기업은 단일 전화 회선이든 글로벌 고객 지원 조직이든, 각 상호작용이 진행되는 동안 어떻게 처리할지 알 수 있을 만큼 충분한 맥락이 필요하다”고 덧붙였다.

AI 음성 에이전트의 성능을 관찰·분석하는 기능도 확대했다. 모듈레이트는 11월 Velma에 음성 자체에서 추출하는 새로운 신호를 12개 넘게 추가했다. 대화 기록만으로는 신뢰성 있게 측정하기 어려운 응답 시점, 음질, 대화 중 오해 등을 파악하도록 돕는 기능이다. 발언 내용뿐 아니라 감정, 말의 리듬, 망설임, 강조, 대화 행동의 변화까지 분석해 기업이 에이전트 성능과 고객 경험의 개선 지점을 찾도록 지원한다.

허프먼 최고경영자는 “AI 에이전트가 매일 기업에 전화를 걸고 고객과 대화하며 다른 AI 에이전트와 상호작용하는 시점에 다가가고 있다”며 “통화 담당자는 사람이든 AI 에이전트든 그 대화에서 무슨 일이 일어나는지 파악하고 상호작용이 진행되는 동안 적절히 대응할 수 있어야 한다”고 말했다. 또 “우리는 이러한 과제를 해결할 실질적인 솔루션을 제공하는 데 집중하고 있다. 대규모로 배포할 수 있고 기업에 경제적으로도 타당한 솔루션”이라고 밝혔다.

모듈레이트는 이번 발표에서 트윌리오 벤처스(Twilio Ventures)와 카약(Kayak) 공동창업자인 기술 기업가 폴 잉글리시의 신규 투자도 공개했다. 앞서 퓨처 벤처스(Future Ventures)가 주도하고 하이퍼플레인(Hyperplane)과 레이크스타(Lakestar)가 참여한 2500만 달러 규모 자금 조달을 발표한 데 이은 투자다. 추가 자금은 AI·머신러닝 연구, 제품 개발, 개발자 도입 확대, 제휴, 음성 기반 모델의 배포 방식 확장에 쓰인다. 회사는 주요 통신 인프라 제공업체 측의 지원을 확보하면서 합성 음성 발신자 식별과 AI 음성 에이전트 성능 모니터링 기술을 확대하게 됐다고 설명했다.

Velma는 100개가 넘는 특화 오디오 모델로 구성된 Ensemble Listening Model 구조를 사용해 감정, 어조, 의도, 말의 리듬, 합성 음성, 대화 행동을 분석한다. 모듈레이트에 따르면 자사 기술은 6억 시간이 넘는 오디오를 분석했으며 게임, 사기 방지·보안, 의료, 고객 경험, AI 에이전트 감독, 신뢰·안전 등의 분야에 쓰이고 있다. 회사는 자사 음성 전사와 딥페이크 탐지 기술이 허깅페이스(Hugging Face)의 공개 벤치마크에서 1위를 기록했다고 밝혔다.