- 딥엘 보이스에 자동 적용…원본 음성·번역 내용 함께 분석해 화자의 표현 변화 반영

 

딥엘이 화자의 말투 변화를 실시간으로 반영하는 음성 번역 AI 모델 ‘오러(Aure)’를 공개했다. 기존 음성 보존 기술이 화자 고유의 목소리를 유지하는 데 집중했다면, 오러는 대화 중 달라지는 어조와 감정, 강세, 발화 속도까지 포착해 다른 언어의 음성으로 전달한다.

 

고정된 음성에서 실시간 변화 반영으로

기존 딥엘 보이스는 대화 초반에 확보한 음성 샘플을 기준으로 화자의 목소리를 다른 언어로 구현했다. 화자가 누구인지는 반영했지만, 대화가 이어지면서 달라지는 감정과 강세, 발화 속도까지 계속 따라가지는 못했다. 특히 비꼬는 표현처럼 말의 내용과 전달 방식이 서로 다른 경우에는 특정 시점의 음성만으로 실제 의미를 번역 음성에 담기 어려웠다.

 

오러는 고정된 음성 샘플 대신 입력되는 목소리를 계속 분석한다. 번역된 내용과 원본 음성을 함께 살펴 화자가 문장을 어떤 방식으로 전달하는지 파악하고, 그 결과를 번역 음성에 반영한다. 화자의 고유한 목소리를 유지하면서 대화 과정에서 나타나는 표현 변화까지 따라가는 방식이다.

 

소음 속에서 화자의 목소리와 운율 분리

실제 대화에서는 화자의 목소리만 들어오지 않는다. 배경 소음과 울림, 오디오 왜곡이 섞이기 때문에 오러는 불필요한 요소를 걸러낸 뒤 화자 고유의 음성 특성과 운율을 분리해 추출해야 한다. 다른 언어로 옮기는 과정에서는 악센트를 과장하거나 본래 목소리를 왜곡하지 않는 것도 중요하다.

 

딥엘은 이를 위해 화자의 음성 특성과 운율, 발화 내용을 각각 분리하는 학습 기법을 결합했다. 각 요소를 따로 처리해 다른 언어로 전달하고, 강화학습으로 출력 결과를 다듬는다. 번역 정확도와 음성 품질을 유지하면서 번역된 언어에서도 자연스럽게 들리는 목소리를 만드는 데 활용한다.

 

한 문장이 끝나기 전 화자 특성 파악

실시간 번역에서는 학습 데이터 확보에도 제약이 따른다. 딥엘 보이스는 보안 규정에 따라 회의 녹취록이나 번역 내용을 시스템에 저장하지 않으며 세션이 끝나면 해당 데이터를 메모리에서 삭제한다. 같은 화자가 여러 언어로 말하는 실제 음성 데이터가 제한적인 이유다.

 

오러는 저장된 대화 데이터에 의존하는 대신 화자가 말하는 순간 음성 특성을 파악한다. 한 문장이 끝나기 전부터 목소리에 적응하며, 같은 사람이라도 피곤할 때와 활기찰 때, 스트레스를 받을 때 달라지는 말투를 구분한다. 번역 음성도 그 순간 포착한 화자의 목소리에 맞춰 조정한다.

 

딥엘 보이스에 자동 적용…한국어 등 8개 언어 지원

오러는 별도 설정 없이 딥엘 보이스 포 온라인 미팅, 딥엘 보이스 포 인퍼슨 컨버세이션, 딥엘 보이스 API에 자동 적용된다. 출시 초기 지원 언어는 한국어와 영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 일본어, 포르투갈어 등 8개다. 이외 언어는 기존 음성 모델로 지원하며 딥엘은 향후 오러 적용 언어를 늘릴 계획이다.

 

딥엘 야렉 쿠틸로브스키 CEO는 “오러를 통해 표현의 아주 미세한 변화까지 발생하는 순간 바로 포착해, 다른 언어로 번역된 화자의 목소리에 실시간 반영할 수 있게 됐다”며 “이는 언어가 바뀌더라도 말하는 사람의 고유한 특성은 충실히 유지되는 단계로 나아가는 중요한 진전”이라고 밝혔다.

 

#딥엘 #오러 #딥엘보이스 #DeepLVoice #음성AI #음성번역 #실시간번역 #AI번역 #강화학습