국민 1000명, AI 안전 수호 나선다:...생성형 AI 레드팀 챌린지' 개최

과학기술정보통신부와 한국정보통신기술협회(TTA)는 국민 1000명이 참여하는 '생성형 AI 레드팀 챌린지' 행사를 11일부터 이틀간 코엑스 B2홀에서 개최한다. 이번 행사는 AI에 관심 있는 국민 누구나 참여해 국내 생성형 AI 모델(LLM)의 잠재적 위험·취약점을 찾아내는 'AI 안전 수호 챌린지'다.

오픈AI, 구글, 네이버클라우드 등 국내·외 AI 대표기업도 내부 AI 레드팀을 구성·운영하며, 이번 행사는 국내 최초로 개최된다. 

챌린지 참가자들은 1~4세션으로 나뉘어 진행되며, 네이버, SK텔레콤, 업스테이지, 포티투마루의 LLM 모델을 대상으로 잠재적 취약점을 찾는 프롬프트 공격을 진행한다. 데이터 분야 전문가, 의료·금융·법률 전문가 120여명으로 구성된 평가단은 사전에 마련된 평가 세부기준에 기초해 챌린지 참가자의 공격을 객관적으로 평가한다.

행사 2일차에는 아이단 고메즈 코히어 대표, 에마드 모스타크 스태빌리티 AI 창업자 겸 전 대표 등 국내·외 AI 업계·학계 전문가가 참여하는 '글로벌 AI 안전 컨퍼런스'가 개최된다. 이들은 생성형 AI 시장의 기술동향과 안전·신뢰성 확보 방안에 대한 발표와 토론을 진행한다.

과기정통부는 이번 챌린지 결과를 분석해 생성형 AI 분야의 공통·포괄적인 위험을 도출하고, 업계에서 활용할 수 있는 '생성형 AI 레드팀 가이드라인'을 마련하는 등 표준화된 위험 발굴·대응체계를 구축한다.

강도현 과기정통부 2차관은 "AI 혁신의 전제이자 기본은 AI 안전과 신뢰"라며 "오늘 행사는 AI의 지속 가능성에 대해 우리 모두가 진지하게 고민해 볼 수 있는 소중한 계기가 될 것"이라고 말했다.

이어 "AI 발전에 제약이 되는 문제들은 조속히 해결해 나가고 대통령께서 밝히신 'AI-반도체 이니셔티브'를 차질없이 추진해 글로벌 AI 혁신을 주도해 나갈 것"이라며 "특히 올해 5월에 개최되는 'AI 서울 정상회의'를 통해 AI 혁신과 안전, 포용 논의를 주도하여 글로벌 AI 리더십을 확보하고, AI G3 강국 도약의 발판으로 삼겠다"고 강조했다.