AI 에이전트의 행위를 승인한 사업 책임자에게 최종 책임 부여

핵심 요약

  • Bellini Capital의 Brian Blakley CISO는 AI로 취약점 발견이 빨라져도 수정에는 시간이 걸린다며, 패치 전 위험 노출 축소와 모델 변경 검증을 강조했다.

Bellini Capital과 ConnectSecure의 CISO인 Brian Blakley는 AI가 취약점 발견을 가속해도 수정에 필요한 시간까지 줄여주지는 않는다며, 패치를 기다리는 동안 위험 노출을 줄이는 보안 전략을 제시했다. 10월 28일 공개된 Help Net Security 인터뷰에서 그는 “더 빠른 패치는 필요하지만 장기 전략으로는 충분하지 않다”고 말했다.

Blakley는 AI 에이전트의 권한과 책임을 명확히 구분해야 한다고 강조했다. 그는 “조직은 AI 에이전트에 권한을 위임할 수 있지만 책임까지 위임할 수는 없다”고 말했다. 그의 조직은 수천 시간의 사람 통화 녹음으로 훈련한 AI 에이전트를 발신 전화 업무에 투입하고, 기존 담당자들을 더 높은 가치를 창출하는 업무로 옮겼다. 고객에게 첫 전화를 걸기 전부터 AI 및 데이터 거버넌스 위원회가 에이전트의 잘못된 발언에 누가 책임질지 정했다.

비용 부담은 사업부·기술 예산·사고 대비 준비금·보험 등 재원에 따라 나누고, 복구·조사·규제 의무 이행은 IT·보안·법무팀이 맡는다. 경영 차원의 최종 책임은 에이전트의 행위를 승인한 사업 책임자가 지며, CIO·CTO·CISO는 각자의 통제 조치에 책임을 진다. Blakley는 “사람이 제안을 하거나 고객 데이터를 공개하려면 승인이 필요한 경우, 에이전트가 더 빠르다는 이유만으로 그 권한을 얻지는 않는다”고 말했다. 많은 조직이 이런 책임 구조를 문서화하지 않았으며, 되돌릴 수 없는 결정이 내려진 뒤에 책임자를 정하는 것이 가장 나쁜 시점이라고 지적했다.

AI 도입 성과와 보안도 같은 사업 목표로 평가해야 한다는 게 그의 견해다. CIO는 납기와 예산을 지키면서 중대한 위험을 만들 수 있고, CISO는 지연의 가치를 입증하지 않은 채 통제로 프로젝트를 늦출 수 있다. 그는 10억 달러 규모의 보험 관련 기업을 좋은 사례로 들었다. 이 기업은 인건비를 유지하면서 매출을 늘리는 목표 아래 소규모 가치 입증 프로젝트로 AI에 자금을 투입한다. 사업부 책임자·운영 담당자와 CIO·CTO·CISO가 참여하는 AI 및 데이터 거버넌스 위원회가 각 과제를 이 목표에 비춰 검토한다.

공동 지표는 재무·운영 제약을 지키면서 중대한 위험을 해소하거나 책임 있는 사업 책임자가 명시적으로 수용한 핵심 과제의 완료 비율이다. Blakley는 평가 왜곡을 막으려면 시범사업 전에 성공 기준을 정하고, 위험 수용을 위험 해소로 계산하지 않으며, 가동 후 보안·운영 비용이 발생하면 다시 평가해야 한다고 제안했다. 그는 “서명은 대체로 결정을 기록하지만 사업의 위험 노출을 없애지는 않는다”고 말했다.

취약점 대응에서는 공격자와 방어자의 속도 차이를 짚었다. Blakley는 2년 전에는 AI가 양측에 대체로 비슷한 이점을 줄 것으로 믿었지만, 취약점 관리 플랫폼의 보안을 이끌며 생각을 완전히 바꿨다고 말했다. 엔지니어들이 IDE와 제품 자체에서 AI를 쓰면서 취약점 발견이 빨라지는 모습을 직접 봤기 때문이다. 공격자는 결함에서 실제 작동하는 공격 코드로 빠르게 넘어가는 반면, 방어자는 사업 영향 평가·패치 검증·호환성 시험·변경 승인에 이어 사업 부서와 유지보수 시간을 조율해야 한다.

연간 온라인 거래 500억 달러를 처리하는 핀테크 기업의 CISO를 지낸 그는 긴급한 취약점이 발견됐다고 결제 플랫폼을 멈출 수는 없다고 설명했다. 패치 지연은 악용 위험과 매출 중단 위험을 비교한 의도적인 운영 절차일 수 있다. 그는 패치 전 네트워크 분할·격리·보완 통제와 신속한 사업 위험 판단으로 노출을 줄여야 한다고 제안했다. 핵심 서비스를 유지하면서 취약점이 악용될 수 있는 기간을 줄이는 목표를 CIO와 CISO가 공유할 수 있다는 설명이다.

모델 제공업체의 예고 없는 변경도 검증 대상이다. 인터페이스·설정·버전 번호가 같아도 모델의 추론 방식은 달라질 수 있다. 취약점과 환경, 통제 조치가 그대로인데도 모델이 바뀌면 어제 긴급 조치 대상으로 분류한 결함이 오늘은 낮은 우선순위를 받을 수 있다. 인도(India) 엔지니어링팀이 매일 사용하는 코딩 보조 도구 역시 설정 변경 없이 제안 코드가 달라질 수 있다.

Blakley의 팀은 핵심 자산·알려진 취약점·사업 의존관계를 반영한 시나리오로 위험 기반 회귀 테스트를 수행한다. 검증된 기준 결과와 비교해 위험 해석, 권고 조치, 데이터 처리, 권한의 변화를 살피고 제공업체가 허용하면 모델 버전을 고정한다. 다만 고정이 언제나 가능하다고 가정하지는 않는다. 그는 “우리에게 사고를 일으킨 예고 없는 업데이트를 지목할 수는 없다”며 “우리가 올바른 대상을 측정하지 않았다는 뜻일 뿐일 수도 있다”고 말했다.

AI 도구 차단의 성패는 이후 대응에 달렸다고 봤다. Blakley는 Walmart의 기술 조직이 위험하다고 판단한 활동을 발견한 뒤 ChatGPT를 제한했다가, 도구 평가와 사용 지침 마련을 거쳐 사내 네트워크 접근을 다시 허용한 사례를 들었다. 반대로 기업의 제한에도 직원들이 개인 계정으로 ChatGPT를 계속 쓰는 이른바 비승인 AI 사용은 정책 우회와 가시성 상실을 낳는다. 다만 이런 사용이 반드시 보안 침해를 뜻하는 것은 아니라고 구분했다.

그는 엔지니어 중심 조직에서는 IDE 속 AI 보조 도구의 효용을 경험한 직원들이 차단을 우회할 위험이 특히 크다고 지적했다. 거버넌스 위원회는 제한과 함께 검증된 대안을 제시해야 한다. 사업 책임자와 CIO가 생산성 수요를 정하고, CTO가 기술 적합성을 판단하며, CISO가 통제 기준과 경계를 설정하는 방식이다. Blakley는 “승인받지 않은 AI 사용이 거의 없다고 표시하는 대시보드가 입증하는 것은 거의 없다”며 “보안팀은 어떤 도구를 금지할지에 관한 논쟁에서 이기고도 사업이 업무를 수행하는 방식에 대한 통제력을 잃을 수 있다”고 말했다.

인공지능(AI)과 스타트업 분야의 주요 소식을 전합니다.