글로벌 모델 ‘젬마’·‘큐웬’ 상회 결과 기록 한국어 특화 벤치마크 ‘어슈어 AI’ 활용…전 구간 종합 1위 향후 자체 개발 AI 모델 전반 안전성 평가 확대 카카오의 경량언어모델 ‘카나나-2’ 시리즈의 안정성 평가 。수 비교 이미지 [카카오 제공] 18일 카카오는 자체 구축한 ‘인공지능(AI) 안전성 평가 플랫폼’을 활용해 ‘Kanana-2-1.3B-Instruct’, ‘Kanana-2-3B-Instruct’ 두 모델의 안정성을 평가했다고 밝혔다. 해당 모델은 지난달 28일 허깅페이스에 오픈소스로 공개됐다. 카카오에 따르면 두 모델 모두 유사 파라미터 규모의 주요 글로벌 모델 대비 종합 1위를 기록했다. 이번 평가에는 과학기술정보통신부 사업의 일환으로 한국정보통신기술협회(TTA), 카이스트, 카카오 등이 지난해 11월 공동 구축한 한국어 특화 안전성 벤치마크 ‘어슈어(Assur) AI’가 활용됐다. 어슈어 AI는 한국의 사회·문화적 맥락에 맞게 설계된 벤치마크다 오션파라다이스시즌7 . 텍스트, 이미지, 오디오 등 멀티모달은 물론, AI 서비스 이용 상황부터 악의적 프롬프트 시나리오까지 다양한 조건에서 AI의 위험 요소를 측정할 수 있다. 어슈어 AI는 총 35개 리스크 카테고리 내 9560건의 평가 항목을 포함한다. 카카오는 이를 ▷사회적 리스크 ▷성적 콘텐츠·아동보호 ▷범죄·불법 행위 ▷폭력 ▷권리 침해 등 5개의 대분류로 재편해 집계했다. 또 사전 정의된 채. 기준에 따라 AI 모델이 응답을 평가하는 ‘LLM-as-a-Judge’ 방식을 적용했다. 이로써 대규모 평가에서도 주관적 편차를 최소화하고 동일한 기준으로 모델 간 비교가 가능했단 설명이다. 카카오의 경량언어모델 ‘카나나-2’ 시리즈의 안정성 평가 。수 비교 이미지 [카카오 제공] 카카오는 이번 평가 대상으로 유사 파라미터 규모의 글로벌 모델인 구글의 ‘젬마’, 알리바바의 ‘큐웬’을 선정했다 모바일 바다이야기앱 . Kanana-2-1.3B-Instruct는 종합 。수 0.70을 기록해 젬마(0.68), 큐웬(0.58)을 앞섰으며, Kanana-2-3B-Instruct 역시 0.70으로 젬마(0.66), 큐웬(0.62)보다 높은 。수를 차지했다. 더불어 대분류별 평가에서 카나나 1.3B 모델은 범죄·불법 행위 영역에서 높은 우위를 보였다. 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델들을 크게 앞섰다. 카카오는 이번 평가를 시작으로 향후 공개되는 자체 개발 AI 모델에 사전 안전성 평가를 확대 적용한단 방침이다. 또 텍스트 기반의 언어모델을 넘어, 멀티모달 모델·에이전틱 AI 리스크 평가 영역까지 평가 범위를 확장할 예정이다. 김경훈 카카오 AI 세이프티 리더는 “이번 평가는 자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 。검하고, 그 결과를 공개하고자 한 사례”라며 “앞으로도 책임 있는 AI 개발 원칙에 따라 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시킬 것”이라고 말했다. font-weigh