고위험 배포에 행동 기록·비상 중단 장치 요구
핵심 요약
- 인도 사이버보안 기관 CERT-In이 AI 에이전트의 기밀 유출과 무단 행동 가능성을 점검하도록 요구했다. 사용자 등의 권한 자동 승계를 금지하고 사람의 승인 절차 우회 여부도 시험하도록 했다.
인도(India) 사이버보안 기관 CERT-In이 AI 에이전트의 기밀 데이터 유출과 무단 행동 가능성을 시험하도록 요구했다. 11월 4일자 AI 보안 감사 지침은 에이전트의 권한과 사람의 감독을 주요 점검 대상으로 삼았다.
사람의 통제가 실제로 작동하는지도 감사 대상이다. 지침은 “중대한 결과를 초래하는 조치에는 적절한 사람의 승인 절차를 적용해야 한다”고 명시했다. 감사자는 승인 절차를 우회할 수 있는지, 권한을 가진 검토자가 AI 출력을 거부·수정·무효화할 수 있는지 시험해야 한다.
지침은 에이전트가 “사용자나 도구, 다른 에이전트의 권한을 자동으로 물려받아서는 안 된다”고 규정했다. 고위험 배포에는 업무 시스템 접근 제한, 에이전트의 행동 기록, 비상 중단 장치를 요구했다.
이러한 보호 조치는 문서나 다른 입력에 숨긴 악성 지시로 AI 시스템의 동작을 가로채려는 프롬프트 인젝션에 대응한다. 지침에는 데이터 유출 방지 장치의 시험도 포함됐다.
