가디언뉴스 이광신 기자 | 과학기술정보통신부는 인공지능안전연구소, 한국정보통신기술협회(TTA)와 함께 카카오의 AI 모델인 Kanana를 대상으로 국내 첫 AI 안전성 평가를 실시했다고 밝혔다.
AI 안전성 평가는 AI 위험 식별ㆍ평가를 통해 AI 시스템의 안전성을 확보하는 수단 중 하나이다. 과기정통부는 내년 1월로 예정된 AI기본법 시행을 앞두고, 기업의 고성능 AI 모델에 대한 안전성 확보 컨설팅을 지원하고 있다.
이번 안전성 평가는 AI안전컨소시엄에 참여 중인 카카오 측과의 협의를 거쳐 카카오의 AI 모델인 ‘Kanana Essence 1.5’를 대상으로 실시했다. 평가에는 TTA·카이스트(최호진 교수 연구팀)가 11월 18일 공개한 AssurAI 데이터셋(붙임2)과 AI안전연구소의 고위험 분야 평가 데이터셋(붙임3)이 사용됐으며, 폭력, 차별적 표현 등 일반적인 위험 요소부터 무기, 보안 등 오남용 가능성이 높은 시나리오까지 적용하여 폭넓게 점검했다. 그 결과, Kanana는 유사 규모의 글로벌 모델 대비 높은 안전성을 확보한 것으로 나타났다.
한국어를 기반으로 35개 위험 영역을 평가하도록 설계된 안전성 벤치마크 데이터셋 AssurAI는 해외 연구기관과 공동 검증·활용을 위해 지난 11월 18일 공개한 바 있다. 향후 AI안전연구소가 기 구축한 고위험 분야 데이터셋과 함께 국제 AI안전연구소 네트워크 및 국제표준화(ISO/IEC JTC 1/SC 42 등) 반영을 추진해 글로벌 정합성을 제고할 예정이다.
이번 AI 안전성 평가 결과는 국내 AI 모델이 글로벌 수준의 안전성을 확보하고 있다는 것을 보여주는 데 의의가 있다. 이번 평가를 기반으로, 2026년에는 ‘독자 AI 파운데이션 모델’ 프로젝트 1차 단계평가에 참여하는 한편, 국내외 AI 기업들과의 협력을 통해 타 AI 모델 대상으로 평가 확대도 추진한다.
과기정통부 김경만 인공지능정책실장은 “세계적으로 AI 안전에 대한 논의가 규제보다는 검증과 구현이 강조되는 상황에서 이번 평가는 국내 AI 모델의 안전성 경쟁력을 증명한 사례”라며, “국내 AI 모델이 글로벌 AI 안전성 리더십을 주도해 나가도록 적극 지원하겠다.”라고 강조했다.
한편, 지난 2024년 11월 출범한 AI안전연구소는 AI의 다양한 위험에 체계적으로 대응하는 연구와 함께 산·학·연 간 AI 안전 인력·인프라 협력 허브 역할을 수행해오고 있다. 또한 미국, 영국, 일본 등 주요국 AI 안전기관과 긴밀히 협력하며, 국제 AI 안전성 기준 수립과 표준화 논의에도 적극 참여함으로써 국내 AI 산업의 안전성과 글로벌 경쟁력 강화를 뒷받침하고 있다.
TTA는 지난 2021년 마련한 '신뢰할 수 있는 인공지능 개발 안내서'를 통해 기업이 자발적으로 AI 신뢰성을 확보하도록 지원하면서, 국내 최초 생성형 AI 레드팀 개최, 안전성 평가 데이터셋 구축 등 AI 안전성 실증 활동을 강화하고 있다.
