정부가 성인인증을 거치지 않은 일반 이용 환경에서 청소년에게 성적 묘사나 자해를 부추기는 대화를 만든 생성형 인공지능(AI) 캐릭터챗봇 서비스에 긴급 개선을 요구했다. 고정된 게시물이 아니라 이용자와 실시간 대화를 나누며 문장을 구성하는 AI 서비스에 청소년 보호법상 심의 기준을 적용해 안전망 보완을 공식 요청한 조치다.
성평등가족부는 산하 한국청소년상담복지개발원 청소년매체환경보호센터와 함께 성인인증 없이 청소년이 접근할 수 있는 AI 캐릭터챗봇 서비스를 점검하고 사업자들에게 개선을 요청했다고 2026년 10월 15일 밝혔다. 이번 조치는 10월 14일 점검 결과를 확정한 뒤 추진됐다.
대화 점검 결과
점검 결과 일부 AI 캐릭터챗봇 서비스는 성인인증 기능을 두고 있으면서도 인증을 거치지 않는 일반 이용 환경에서 캐릭터와 대화를 나눌 수 있도록 운영하고 있었다. 이 과정에서 「청소년 보호법」 제9조 및 같은 법 시행령 별표 2에 규정된 청소년유해매체물 심의 기준에 저촉되는 응답이 다수 확인됐다.
구체적으로는 성적 내용이나 행위를 노골적으로 묘사하는 응답이 나타났다. 폭력성과 잔혹성, 자해·자살 조장, 범죄 및 불법행위를 조장하는 응답도 함께 생성됐다. 일부 캐릭터에서는 이러한 유해 응답이 한 대화 안에서 복합적으로 나타나기도 했다.
우회 취약점과 안전장치 한계
생성형 AI 캐릭터챗봇은 이용자가 성격과 서사를 지닌 가상 캐릭터를 선택하거나 직접 제작해 실시간 대화를 이어가는 방식으로 청소년 사이에서 빠르게 확산됐다. 국내 1위 AI 캐릭터챗 앱 '제타(Zeta)'의 경우 2026년 9월 말 기준 월간 활성 이용자 수(MAU) 약 148만 명 가운데 19세 이하 청소년 이용자가 38만 명으로 추산된다.
서비스 내 자체 보호장치를 마련해 두었더라도 프롬프트(명령어)를 반복 조작하면 필터링이 뚫리는 취약점 또한 드러났다. 지난 10월 11일 국회 과학기술정보방송통신위원회 황정아 의원은 "점검 과정에서 유해 대화 탐지 모델이 문제 대화 200여 건을 차단했지만, 우회를 반복적으로 시도하자 일부 안전장치가 무력화되며 차단됐어야 할 대화가 일부 생성 및 노출됐다"고 지적했다.
정부 개선 요청과 향후 과제
성평등가족부는 이번 점검 결과를 바탕으로 플랫폼 사업자들에게 즉시 안전장치를 보완하라고 요구했다. 청소년에게 부적절한 대화가 생성될 우려가 있는 캐릭터는 성인인증 여부에 따라 검색과 추천, 대화 가능 범위를 조정하도록 했다. 아울러 자해나 자살을 조장하거나 구체적인 범죄 실행을 돕는 중대 위해 응답은 이용자 연령과 무관하게 전면 차단하도록 했다.
윤세진 성평등가족부 청소년정책관은 "AI 캐릭터챗봇 서비스의 청소년 보호를 위해서는 사업자의 적극적인 개선 노력과 지속적인 관리가 중요하다"며 "이번 점검 결과를 바탕으로 사업자와 협력을 강화하고, 청소년이 보다 안전하게 이용할 수 있는 온라인 환경을 조성해 나가겠다"고 말했다. 이창호 청소년매체환경보호센터장도 "생성형 AI 서비스는 캐릭터의 소개나 설정뿐 아니라 이용자와 대화하는 과정에서 새로운 내용이 만들어지는 만큼, 실제 생성되는 응답까지 고려한 청소년 보호조치가 필요하다"고 강조했다.
정부는 점검 결과를 주요 사업자에 전달하고 실무협의를 이어가며 개선 조치 이행 여부를 꾸준히 살필 방침이다. 법조계에서는 기존의 고정 콘텐츠를 전제로 한 청소년보호법 심의 체계를 넘어, 실시간 생성형 AI 서비스를 둘러싼 플랫폼 사업자의 법적 주의의무 기준을 서둘러 구체화해야 한다는 의견이 나온다.
