NC AI, 세계 최대 음성학회 '인터스피치 2025'서 몬스터 사운드 생성 AI 기술 공개

[이코노믹데일리] 엔씨소프트의 인공지능(AI) 조직 NC AI가 사람 목소리를 실시간으로 괴물의 포효나 울음소리로 바꾸는 혁신 기술을 세계 최대 음성 기술 학회에서 공개한다. NC AI는 2025년 8월 네덜란드 로테르담에서 열리는 ‘인터스피치(INTERSPEECH) 2025’에서 몬스터 사운드 생성 및 변환 AI 관련 논문 2편과 실시간 데모를 선보일 예정이라고 17일 밝혔다.

NC AI가 공개하는 기술의 핵심은 인간의 목소리를 입력받아 전혀 다른 질감의 몬스터 사운드로 변환하는 것이다. 단순히 음색만 바꾸는 것을 넘어 CD 수준(44.1kHz)의 고해상도로 음성을 분석해 캐릭터 고유의 거친 숨소리나 날카로운 포효 등 미세한 질감까지 구현한다. 발화 내용은 그대로 유지하면서 원하는 스타일만 정확히 덧입히고 웃음이나 숨소리 같은 비언어적 요소까지 자연스럽게 변환하는 것이 특징이다.

이 기술은 게임 개발 현장의 사운드 제작 방식을 근본적으로 바꿀 전망이다. 기존에는 사운드 디자이너가 몬스터의 종류와 상황에 따라 소리를 일일이 수작업으로 제작해 막대한 시간과 비용이 소요됐다. 하지만 NC AI의 모델을 활용하면 인간의 음성을 기반으로 다채로운 몬스터 사운드를 즉각 생성하고 공격성이나 위압감 등 캐릭터의 감정 상태에 따라 미세한 변주까지 자동으로 만들어낼 수 있다.

이러한 혁신의 바탕에는 엔씨소프트가 수년간 축적해 온 방대한 게임 오디오 데이터베이스가 있다. NC AI는 사운드센터와 협업해 이 데이터를 정밀하게 분류하고 전문 음향 변형 툴을 활용해 현실에 존재하지 않는 가상의 몬스터 사운드를 대량으로 학습시켰다. 그 결과 최신 음색 변환 모델들과의 비교 평가에서 음질, 자연스러움, 유사도 등 모든 부문에서 우위를 점했다.

이 기술은 NC AI가 개발한 생성형 사운드 이펙트 저작 툴 ‘사운드 팔레트(Sound Palette)’의 핵심 엔진으로 탑재된다. 크리에이터가 원하는 분위기를 입력하면 수백 가지의 변주 사운드를 즉시 생성해주는 이 툴은 게임을 넘어 영화, 광고, XR 등 다양한 콘텐츠 제작 영역으로 확장될 잠재력을 가졌다.

조남현 NC AI Audio AI 팀장은 “방대한 게임 오디오 데이터와 첨단 AI 모델링 기술, 뛰어난 사운드 디자인 전문성을 융합해 이번 기술을 완성했다”며 “앞으로도 AI를 활용해 창작자의 상상력을 현실로 구현하고 디지털 콘텐츠 산업 전반에 혁신적인 오디오 경험을 제공하는 데 기여할 것”이라고 밝혔다.