앤트로픽이 실제 사용자와 나눈 대화 31만건 이상을 분석해 AI 모델 클로드가 대화 중 표현하는 가치를 정량적으로 측정하는 새로운 평가 방법론을 공개했다고 7월 13일(현지시간) 밝혔다. 연구 결과 모델과 언어에 따라 가치 표현에 차이가 나타났으며, 한국어는 공감과 간결성이 상대적으로 높게 나타났다.
앤트로픽 사회적 영향(Societal Impacts) 팀이 진행한 이번 ‘모델과 언어에 따른 클로드의 가치 표현(Claude’s values across models and languages)’ 연구는 AI 모델이 실제 서비스 환경에서 어떤 가치를 표현하는지 모델과 언어별로 측정하는 방법론을 제시한 첫 사례라고 앤트로픽은 설명했다.
연구진은 개인정보 보호 기법을 적용해 클로드의 익명 대화 30만9,815건을 분석했다. 클로드 소넷 4.6과 오퍼스 4.6·4.7 등 3개 모델, 한국어를 포함한 사용량 상위 20개 언어를 대상으로 비교했으며, 이전 연구에서 확인한 3,307개 가치 표현을 339개 상위 가치로 재분류한 뒤 차원 축소 기법으로 4개 핵심 가치 축을 도출했다. 앤트로픽에 따르면 이 네 가지 축은 클로드 가치 변화의 약 15%를 설명한다.
평가 축은 △수용성(Deference)과 신중함(Caution) △따뜻함(Warmth)과 엄밀함(Rigor) △깊이(Depth)와 간결함(Brevity) △솔직함(Candor)과 실행 중심(Execution) 등 네 가지로 구성됐다. 연구진은 사용자의 질문 주제와 과제, 사용자가 표현한 가치까지 통제해 AI가 실제로 드러낸 가치만 비교·분석했다.
모델별 성향도 뚜렷하게 구분됐다. 클로드 소넷 4.6은 수용성과 따뜻함이 높아 공감과 유머 표현을 자주 활용했고, 오퍼스 4.7은 신중함과 깊이, 솔직함이 강해 위험 요소와 한계를 먼저 설명하는 특성을 보였다. 오퍼스 4.6은 엄밀성과 간결성을 바탕으로 요청 범위 안에서 핵심 정보를 전달하는 성향이 상대적으로 높았다고 앤트로픽은 밝혔다.
언어별 차이는 ‘따뜻함과 엄밀함’ 축에서 가장 크게 나타났다. 힌디어와 아랍어는 공감과 배려 중심의 응답이 많았고, 영어와 러시아어는 정확성과 논리성을 강조하는 경향이 두드러졌다. 반면 수용성과 신중함, 깊이와 간결함 축은 언어와 관계없이 비교적 일관된 특성을 유지했다.
앤트로픽에 따르면 한국어는 1만5,570건 이상의 대화를 분석한 결과 평균보다 수용성과 따뜻함, 솔직함이 다소 높게 나타났다. 가장 두드러진 특징은 간결성이었으며, 사용자를 판단하기보다 공감과 위로를 제공하고 말투와 높임말 수준을 자연스럽게 맞추거나 유머와 장난스러운 표현을 사용하는 경향도 확인됐다.
앤트로픽은 이번 방법론이 모델 출시 전 안전성 평가뿐 아니라 출시 이후 실제 서비스 환경에서 AI 행동과 가치 변화를 지속적으로 모니터링하는 데 활용될 수 있다고 설명했다. 가치 프로필 차이를 학습 데이터와 캐릭터 트레이닝 과정까지 추적해 분석할 수 있으며, 장기적으로는 클로드 헌법(Claude’s Constitution)이 허용하는 범위 안에서 사용자 맞춤형 가치 프로필을 제공하는 기술로 이어질 가능성도 있다고 밝혔다.
최근 생성형 AI 경쟁이 모델 성능 중심에서 안전성과 신뢰성, 사용자 경험으로 확대되면서 실제 서비스 환경에서 AI의 행동과 가치 표현을 측정하는 평가 기술의 중요성도 커지고 있다. 앤트로픽은 지금까지 AI 가치는 학습 단계에서 설계할 수 있었지만 실제 서비스 과정에서 어떤 가치가 표현되는지는 객관적으로 측정하기 어려웠다며, 이번 연구가 AI의 행동과 가치 변화를 정량적으로 관찰하고 개선할 수 있는 기반을 마련했다는 데 의미가 있다고 평가했다.
출처: ittimes (https://www.ittimes.com/news/articleView.html?idxno=85844)