독립 평가·모델 중단 장치·내부고발자 보호 추진
핵심 요약
- 캐나다·프랑스 등 6개국 정상과 AI 기업들이 11월 9일 파리 AI 안전·보안 공동선언에 서명했다. 프런티어 모델의 평가·위험관리 공통 체계와 사고 정보 공유를 추진한다.
캐나다(Canada)·프랑스(France) 등 6개국 정상과 주요 인공지능(AI) 기업들이 2026년 11월 9일 ‘AI 안전·보안을 위한 파리 촉구 공동선언’에 서명했다. 캐나다 총리실이 배포한 선언문은 프런티어 모델의 평가·위험관리 공통 체계, AI 생태계 참여자의 책임, 정보 공유·사고 보고·조기경보를 협력의 세 축으로 제시했다.
선언문은 정책 입안자·연구자·개발자가 기존 체계를 토대로 프런티어 모델의 평가와 위험관리에 적용할 공통 틀을 마련하도록 했다. 모델 역량 발전에 맞춰 기술 표준과 평가 도구·방법론을 정비하고, 사이버 및 CBRN 분야의 위험한 오용과 자율성 증가·모델의 목표 불일치에 따른 통제력 상실 위험을 줄이는 데 초점을 맞춘다. 첨단 AI 측정·평가·과학 국제 네트워크(International Network for Advanced AI Measurement, Evaluation and Science·NAAIMES) 등 기존 네트워크의 역할도 인정했다. 민감하지 않은 평가 결과는 비교 가능한 표준 형식으로 공개하고 공용 저장소를 구축하기로 했으며, 여기에 레드팀 검증 절차와 벤치마크 도구, 위험 평가, 스트레스 테스트 결과 등을 포함할 수 있다고 밝혔다.
개발자는 모델의 역량·한계·알려진 위험을 공개하고, 위험에 비례해 적절한 경우 자격을 갖춘 독립 평가자의 모델 평가를 지원하기로 했다. 기존 관행과 협약을 고려한다는 조건도 담았다. 학습과 내부 사용을 포함해 개발자가 통제하는 모델 작동에 제한·일시정지·종료 등의 안전장치를 도입하겠다는 약속도 포함됐다. 안전장치를 제거하거나 우회하는 abliteration 등의 위험에 대응하되, 연구·혁신·안전을 위한 오픈웨이트 개발의 이점은 보존해야 한다고 명시했다.
AI 생태계의 모든 참여자는 각자의 역할에 따라 책임을 지며, 국가 관할 당국이 수립하거나 인정한 엄격한 안전 기준을 모델 전 생애주기에 걸쳐 준수하기로 했다. 당국의 감독과 신뢰성·전문성·독립성을 갖춘 제3자 평가를 통해 신뢰를 높이고, 설계 단계부터 안전·보안을 우선하도록 유도하는 인센티브도 활용할 수 있다고 제시했다. 정책 입안자는 국경을 넘는 피해를 포함한 대규모 피해의 책임을 법체계에서 명확히 해 피해 당사자의 이익을 보호하고 AI 기업의 경제적 발전에 법적 확실성을 제공할 필요성을 인정했다. 개발자에게는 지속적인 위험관리, 새롭게 나타나는 역량의 실시간 감시, 엄격한 내부 레드팀 검증, 내부 연구자를 보호하는 투명한 보고 체계를 요구했다. 명확한 책임과 충분한 자원, 독립적 감독을 갖춘 지배구조 마련에도 노력하기로 했다.
정보 공유에서는 기존 사이버보안 등 사고 대응 체계에 기반한 신속 경보를 통해 연쇄적인 시스템 위험을 예방하고 새 위협에 공동 대응하는 데 무게를 뒀다. 기업과 정부, 정부 간, AI 기업 간 사고 분류를 맞추고 심각한 사이버 사고·AI 통제 사고 및 중대한 피해의 전조 정보를 제때 공유하도록 기존 보고 체계를 강화하는 가치를 인정했다. 이를 도울 협력 장치의 필요성과 범위도 검토하기로 했다. 정책 입안자는 직원 등 내부고발자가 합리적 근거로 시스템 위험을 제기할 때 법적·직업적 보복을 두려워하지 않도록 안전하고 비밀이 보장되는 신고 경로를 제공하겠다고 약속했다.
국가 정상 서명에는 캐나다·프랑스와 바레인(Bahrain), 핀란드(Finland), 노르웨이(Norway), 네덜란드(the Netherlands)가 참여했다. 기업으로는 앤트로픽(Anthropic), 블랙포레스트랩스(Black Forest Labs), 코히어(Cohere), 도민(Domyn), 허깅페이스(Hugging Face), 마이크로소프트(Microsoft), 미스트랄 AI(Mistral AI), 오픈AI(OpenAI), 사카나 AI(Sakana AI), 신테시아(Synthesia)가 이름을 올렸다. 시민사회에서는 로제로(LawZero)의 요슈아 벤지오(Yoshua Bengio), 세이퍼AI(SaferAI)의 헨리 파파다토스(Henry Papadatos), AI 세이프티 커넥트(AI Safety Connect)의 니콜라 미아이유(Nicolas Miailhe), 이프리(Ifri)의 로르 드 루시로슈공드(Laure de Roucy-Rochegonde)가 참여했다. 선언은 추가 지지를 받을 수 있도록 열려 있으며 갱신 중이다.
서명 참여자들은 선언문에서 “우리는 안전하고 보안성이 높으며 유용하고 모두가 폭넓게 이용할 수 있는 첨단 인공지능을 구축하는 데 대한 공동의 관심과 책임을 재확인한다”고 밝혔다. 명확하고 예측 가능한 규제 체계, 투명성·사고 보고·위험관리의 즉각적인 성과, 엄격한 평가 기준을 공통 과제로 꼽았다. 선언은 히로시마 프로세스, 서울 AI 정상회의의 프런티어 안전 약속, G7 에비앙(Evian) AI 회의, 9월 23일 열린 유엔 안전보장이사회 AI 회의, ‘프런티어 AI 모델 통제 촉구’ 등 기존 협력에 기반한다고 설명했다.
