AI 상담원, 진상고객 차단 기술 상용화 임박...욕설·혐오표현 걸러낸다

[이코노믹데일리] 고객센터 상담원들에게 성희롱, 욕설, 혐오표현을 일삼는 이른바 ‘진상고객’을 AI가 판단하고 차단하는 기술이 곧 등장할 예정이다. 특히 통신사들은 이러한 상황에 적극 대응하고 있으며, SK텔레콤이 선두주자로 나서고 있다.

SK텔레콤은 텔코(통신 특화) 거대언어모델(LLM)의 출시를 앞두고, 이를 부적절한 대화에 적절히 대응하도록 훈련시키는 '레드팀'을 가동 중이다.

레드팀은 진상고객 역할을 맡아 텔코 LLM과 의도적으로 부적절한 대화를 나눈 후, 모델이 이를 제대로 감지하고 경고나 차단 등으로 대응하는지 확인한다. 이 과정을 통해 취약점을 발견하고 보완하는 작업을 반복하고 있다. 이를 통해 텔코 LLM이 실전 수준의 경험을 쌓게 되는 것이다.

SK텔레콤은 텔코 LLM 기반 서비스의 AI 윤리와 안전성을 강화할 계획이다. 텔코 LLM은 통신 데이터를 전문적으로 학습해, 통신사들의 고객센터 상담사를 보조하는 AI 비서 개발에 우선 활용된다. AI 비서는 상담 내용을 요약하고 고객 요구에 적절한 답변을 만드는 역할뿐만 아니라, 부적절한 대화를 걸러내 상담사를 보호하는 역할도 중요하다. 

SK텔레콤은 노골적인 욕설뿐 아니라 의도가 겉으로 드러나지 않는 부적절한 대화도 학습했다. SK텔레콤은 지난달 열린 기자간담회에서 "상담 관련 내용을 모니터링하면서 시스템이 적절할 때 개입해 상담사를 보호할 수 있는 시스템을 논의 중"이라고 밝혔다.

AI의 윤리성·안전성 확보는 다른 ICT 기업들의 서비스 개발에도 필수조건으로 자리잡았다. 안전성 문제는 당국의 규제로 이어질 수 있어, 기업들은 선제적으로 대응해야 사업 차질을 피할 수 있다. 이달 오픈AI가 음성과 시각정보를 인식하고 소통에 활용하는 멀티모달 GPT-4를 공개하며, 부작용 우려도 커지고 있다. 

한 업계 관계자는 "AI 발전에 따라 환각 현상, 가짜뉴스, 저작권 및 개인정보 침해 등 문제가 불거지면서 기술적, 제도적으로 안전성 확보 노력이 필수가 됐다"며 "각 기업들이 AI 윤리 등 내부 지침을 세우고 이를 개발과정에 적용하는 노력을 하고 있다"고 말했다.

KT는 AI 안전성 확보를 위한 업무를 전담하는 ‘책임감 있는 AI센터(RAIC)’를 신설했다. LG유플러스는 ‘AI·데이터거버넌스팀’을 확대 개편해 AI 안전성 기능을 부여했다. 

네이버는 올해 초 CEO 직속 ‘퓨처AI센터’를 만들고, 자사의 ‘하이퍼클로바X’가 높은 안전성 지표를 얻었다는 기술보고서를 공개했다. 구글은 연례 개발자회의 ‘I/O’에서 AI 기반 레드팀 도입, AI 생성 콘텐츠의 악용 방지를 위한 워터마크 ‘신스ID’ 도입, 관련 개발도구 ‘책임감 있는 생성형 AI 툴킷’ 제공 등 최신 노력을 소개했다.

정부 차원의 논의도 활발하다. 한국과 영국 정부는 오는 21일과 22일 양일간 ‘AI 서울 정상회의’를 개최한다. 주요국 정상과 국제기구 수장, 빅테크 대표들이 참석하는 정상세션과, 과학기술정보통신부 장관 등이 참석하는 장관세션을 통해 국내외 민관이 모여 AI 안전성 강화 방안을 논의할 예정이다. 

특히 우리 정부는 글로벌 논의를 주도해나갈 계획이다. 국내에서는 AI 안전성과 관련된 규제를 포괄하는 ‘AI 산업 육성 및 신뢰 기반 조성에 관한 법률안’, 즉 AI 기본법에 대한 입법 논의가 진행 중이다.