한국어 처리 효율 30% 이상 높인 전용 토크나이저 적용
32K 장문 대화에서 메모리 사용량 최대 72.7% 절감
핵심 요약
- 카카오는 2026년 7월 28일 Kanana-2-1.3B와 Kanana-2-3B 계열 SLM 4종을 허깅페이스에 오픈소스로 공개했다.
- 카카오는 한국어 특화 토크나이저를 Kanana-2 모델 전반에 적용해 한국어 처리 효율을 30% 이상 개선했다고 밝혔다.
- 카카오는 Sliding Window Attention 구조로 32K 길이 대화에서 메모리 사용량을 최대 72.7% 줄일 수 있다고 설명했다.
카카오가 7월 28일 자체 AI 모델 ‘카나나(Kanana)’의 경량 언어모델(SLM) 4종을 허깅페이스(Hugging Face)에 오픈소스로 공개했다고 밝혔다. 카카오는 한국어 특화 기술과 온디바이스 AI 최적화 설계를 적용했고, 상업적 활용이 가능한 라이선스로 국내 AI 생태계와 AI 서비스 개발을 지원한다.
최근 AI 시장에서는 거대언어모델(LLM)과 함께 스마트폰과 PC에서 직접 실행하는 SLM의 중요성이 커지고 있다. 카카오는 실제 서비스 적용을 목표로 경량 AI 모델을 개발해 왔으며, 관련 기술을 ‘카나나 인 카카오톡’, 카카오톡 대화요약·통화요약, AI 국민비서 등에 활용하고 있다.
노병석 카카오 유니파이드 파운데이션 모델 성과리더는 “에이전틱 AI 시대를 대비해 클라우드 기반 대규모 AI와 온디바이스 경량 AI 모두의 중요성이 커지고 있다”며 “이번 오픈소스 모델이 더 많은 개발자와 기업의 AI 서비스 개발로 이어져 국내 AI 생태계 활성화에 기여할 수 있기를 바란다”고 말했다.
공개 모델은 Kanana-2-1.3B-base, Kanana-2-1.3B-instruct, Kanana-2-3B-base, Kanana-2-3B-instruct 등 4종이다. 카카오는 이 모델들이 스마트폰과 개인 PC 같은 온디바이스 환경에서 직접 구동할 수 있도록 설계됐다고 설명했다.
카카오는 이번 모델이 작은 규모에도 한국어와 영어에서 글로벌 수준의 성능을 구현했다고 밝혔다. 카카오에 따르면 유사 규모의 최신 최고성능(SOTA) 오픈소스 모델과 비교해 한국어·영어·지식·수학·코드 등 주요 벤치마크에서 우수한 성능을 기록했으며, Kanana-2-1.3B-instruct와 함께 개발한 Kanana-2-0.9B-instruct도 대화, 코드, 수학, 지시이행, 툴 호출 등 실제 서비스 활용 분야에서 글로벌 동급 모델과 경쟁력을 보였다.
토크나이저(Tokenizer)는 AI 모델이 텍스트를 처리할 때 문장을 잘게 나누는 단위를 정하는 핵심 기술이다. 카카오는 지난해 개발을 마친 한국어 특화 토크나이저를 이번 모델 전반에 적용해 한국어 처리 효율을 기존보다 30% 이상 개선하고, 성능과 비용 경쟁력을 함께 확보했다고 설명했다.
카카오는 온디바이스 AI 환경에 맞춰 슬라이딩 윈도우 어텐션(Sliding Window Attention) 구조도 도입했다. 이 구조를 적용하면 최대 3만2,000 토큰(32K) 길이의 대화에서도 메모리 사용량을 최대 72.7% 줄이면서 안정적인 성능을 유지할 수 있다고 회사는 밝혔다.
카카오는 이번 모델을 상업적 활용이 가능한 ‘카나나 오픈 라이선스(Kanana Open License)’로 배포한다. 카카오는 개발자, 스타트업, 연구기관 등이 별도 제약 없이 모델을 활용할 수 있어 국내 AI 개발 생태계 확대와 신규 AI 서비스 개발 활성화에 기여할 것으로 기대하고 있다.
출처: ittimes (https://www.ittimes.com/news/articleView.html?idxno=86102)