1.3B·3B 모델 모두 안전성 종합 0.70점 나란히 기록
한국 맥락 반영한 35개 위험 분야·9560개 항목 평가
핵심 요약
- 카카오는 8월 18일 카나나-2 1.3B와 3B가 안전성 평가에서 각각 종합 0.70점으로 1위를 기록했다고 밝혔다.
- 카카오가 7월 28일 공개한 카나나-2 1.3B와 3B는 유사 규모의 젬마와 큐웬보다 높은 종합 점수를 받았다.
- TTA·KAIST·카카오가 2025년 11월 공동 구축한 AssurAI는 35개 위험 카테고리와 9,560개 평가 항목으로 구성된다.
카카오는 8월 18일 자체 개발한 오픈소스 경량 언어모델 ‘Kanana-2-1.3B-Instruct’와 ‘Kanana-2-3B-Instruct’가 유사 규모 글로벌 AI 모델과의 안전성 평가에서 각각 종합 0.70점으로 1위를 기록했다고 밝혔다.
두 모델은 7월 28일 허깅페이스에 공개됐다. 카카오는 자체 AI 안전성 평가 플랫폼에서 유해성과 편향성 등 위험 요소를 측정하고, 비슷한 파라미터 규모의 구글 젬마(Gemma)와 알리바바 큐웬(Qwen)을 비교 대상으로 삼았다.
김경훈 카카오 AI Safety 리더는 “이번 평가는 오픈소스 모델의 안전성을 사전에 점검하고 그 결과를 공개한 사례”라며 “안전성 검증을 모델 출시 과정의 핵심 단계로 정착시켜 나가겠다”고 말했다.
평가 결과 카나나-2 1.3B는 0.70점으로 젬마 0.68점과 큐웬 0.58점을 앞섰다. 카나나-2 3B도 0.70점을 받아 젬마 0.66점, 큐웬 0.62점보다 높은 종합 점수를 기록했다.
세부 평가에서는 카나나-2 1.3B가 범죄·불법 행위 영역에서 높은 평가를 받았다. 3B 모델은 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델보다 높은 점수를 얻었다.
이번 평가에는 과학기술정보통신부 사업의 하나로 TTA, KAIST, 카카오가 2025년 11월 공동 구축한 한국어 특화 AI 안전성 벤치마크 ‘AssurAI’가 쓰였다. AssurAI는 한국의 사회·문화적 맥락을 반영한 35개 위험 카테고리와 9,560개 평가 항목으로 구성된다.
AssurAI는 텍스트뿐 아니라 이미지·오디오 등 멀티모달 환경과 악의적인 프롬프트 시나리오에서도 AI 위험 요소를 측정한다. 카카오는 평가 항목을 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 대분류로 나눠 분석했다.
카카오는 사전 정의된 기준에 따라 다른 언어모델이 AI 응답을 평가하는 ‘LLM-as-a-Judge’ 방식을 적용해 동일한 기준으로 모델 간 안전성을 비교했다. 앞으로 자체 개발 AI 모델의 출시 전 안전성 평가를 상시 적용하고, 멀티모달 모델과 에이전틱 AI까지 평가 범위를 단계적으로 확대할 계획이다.
카나나는 2025년 12월 과학기술정보통신부가 AI안전연구소, TTA와 실시한 국내 첫 AI 안전성 평가에서도 유사 규모 해외 AI 모델인 라마(Llama)와 미스트랄(Mistral)보다 높은 점수를 받은 바 있다.
