기업 AI 도입, 성능 점수 넘어 지원 기간·교체 비용까지 평가해야

기업의 인공지능(AI) 도입 기준을 시험 점수와 이용료에서 실제 업무 정확도, 장기 지원과 교체 비용으로 넓혀야 한다는 제언이 나왔다. 박지민 36Kr KOREA 공동대표는 IT조선 기고에서 한국 산업계가 자사 업무에 맞는 AI를 검증하고 공급 조건이 달라져도 업무를 이어갈 수 있는지 평가해야 한다고 지적했다.

박 대표는 중국의 AI 기술 수출통제 움직임을 공급 지속성을 점검해야 할 사례로 들었다. 중국 상무부와 과학기술부는 10월 16일 일부 AI 핵심 기술의 수출을 금지하거나 제한하는 개정안을 공개했다. 11월 15일까지 의견을 받는 단계이며, 관련 기술의 수출 전 임시 등록은 먼저 시행됐다.

그는 최근 즈푸AI(智谱AI), 바이두(百度), 인스퍼(浪潮), 바이트댄스(字节跳动)의 사업 관계자들을 만났으며, 향후 자사 기술이 수출통제 대상이 됐을 때 해외 고객을 지원할 구체적 실행안은 아직 마련하지 않았다는 설명을 들었다고 썼다. 이는 면담에서 확인한 내용으로 각사의 공식 입장을 뜻하지는 않는다.

AI 도입 계약에서는 현재 설치한 모델의 사용 기간과 향후 새 버전 공급, 업데이트, 기술지원을 각각 확인해야 한다. 기존 AI를 계속 이용할 수 있더라도 새 버전에는 별도 공급 조건이 붙을 수 있기 때문이다. 국내 정보기술 업체가 중국 개발사의 AI로 서비스를 제공한다면, 국내 고객에게 약속한 장기 지원을 실제 개발사로부터도 확보했는지 살펴야 한다. 문제가 생겼을 때 지원과 대체 제품 마련을 맡을 주체도 정해둘 필요가 있다.

다른 AI로 옮기는 비용 역시 평가 대상이다. 상담 AI를 교체하려면 상품 자료를 다시 연결하고 답변이 회사 방침에 맞는지 시험하며 직원 교육도 해야 한다. 박 대표는 도입 전에 일부 업무를 다른 AI로 옮겨 시간과 비용을 가늠할 것을 제안했다. 미국 기업도 가격·기능·지원 조건을 바꾸고 국내 기업도 사업을 조정할 수 있는 만큼, 같은 기준을 국산과 외국산 모두에 적용해야 한다고 봤다.

성능 평가는 실제 업무에서 출발해야 한다. 여러 모델에 같은 문제를 풀게 하면 기본 능력은 비교할 수 있지만, 그 점수만으로 특정 기업의 업무 적합성까지 판단하기는 어렵다. 고객 상담 AI는 반품 조건을 정확히 안내하고 확인되지 않은 환불을 약속하지 않으며 어려운 요청은 직원에게 넘겨야 한다. 제조업에서는 기종·부품 번호의 혼동, 금융에서는 계약 예외 조건의 누락 여부가 중요한 평가 항목이 된다.

오류 횟수뿐 아니라 종류와 피해 가능성도 구분해야 한다. 문서의 맞춤법 오류와 안전 절차를 잘못 안내하는 오류는 위험이 다르다. 이용료가 저렴해도 직원의 답변 수정 시간이 늘거나 이용자가 몰릴 때 응답 지연으로 작업이 늦어지면 전체 비용은 커질 수 있다. 비교 기준은 질문 한 번의 가격보다 검토를 통과한 업무 한 건의 비용에 둬야 한다는 설명이다.

박 대표는 평가 기준을 함께 만드는 사례로 중국정보통신연구원(中国信息通信研究院)을 소개했다. 이 기관은 기업·연구기관과 AI 평가 표준을 만들어 왔으며, 2026년 9월 시행된 대형 AI 모델의 공통 시험 표준에도 참여했다. 개발사의 성능 개선과 구매자의 제품 선택·납품 확인, 도입 후 성능 점검에 활용하도록 설계됐다. 관련 평가 체계는 답변 정확성에 더해 실제 적용과 운영, 신뢰성까지 살핀다.

이런 평가 체계가 중국의 AI 현장 적용 문제를 모두 해결했다는 의미는 아니다. 개발사와 고객, 연구기관이 제품 비교 기준을 함께 만든다는 점에 주목해야 한다는 것이 박 대표의 시각이다. 평가가 거래에 쓰이면 공급자는 개선 방향을 알고 구매자는 요구할 결과를 구체화할 수 있으며, 납품 뒤에도 약속한 성능이 유지되는지 확인할 근거가 생긴다.

한국에도 AI 성능 평가와 신뢰성 검·인증 기반이 있다. 박 대표는 이를 기업의 구매·운영 기준으로 구체화하자고 제안했다. 공통 시험으로 기본 능력을 비교하되 최종 판단에는 한국어 문서, 국내 법령, 업종별 용어를 반영한 실제 과제를 써야 한다. 정보 보호도 사내 전산망 운영과 외부 서비스 접속 등 사용 방식에 따라 고객 정보·설계 도면의 전송 경로와 접근 권한을 확인해야 한다.

평가는 도입 시점에 끝나서는 안 된다. AI 버전이나 연결 자료가 바뀌면 답변도 달라질 수 있어 시험한 버전·환경을 기록하고 주요 변경 뒤에는 중요 업무를 다시 점검해야 한다. 시험 문제를 외워 점수만 높이는 일을 줄이려면 문제도 갱신해야 한다. 평가기관에는 평가 대상 기업과의 거래·투자 관계 공개와 결과 근거 설명을 요구했다.

정부에는 기존 평가기관과 산업별 전문기관을 연결해 공통 시험 항목과 업무별 기준을 마련하는 방안을 제시했다. 공공기관의 AI 구매 때 제안서 수치뿐 아니라 실제 업무 시험과 유지보수 계획도 확인하도록 하는 방식이다. 민간도 활용할 수 있도록 계약서에 지원 종료 사전 통지, 회사 자료 반환, 다른 AI로 이전할 때의 협조 사항을 구체화할 필요가 있다고 봤다.

대기업과 중견기업은 외주 서비스를 포함해 부서별 AI 사용 현황을 파악한 뒤 업무·전산·보안·구매 담당자가 함께 시험 과제를 정해야 한다. 도입 전후의 오류 수정 시간과 전체 비용을 비교하면 후속 투자의 근거를 마련할 수 있다. 자체 평가가 어려운 중소기업에는 지자체·지역 대학의 공동 시험장을 제안했다. 구미·김천 제조기업들이 기밀을 보호하면서 정비 문서 검색과 불량 보고서 분류를 공동 과제로 여러 AI를 비교하는 방식이다. 지원 성과도 도입 기업 수에 더해 업무 정확도와 작업 시간 개선으로 확인해야 한다.

대학은 산업 전문가와 정답 자료·오류 유형을 정리하고 같은 조건에서 결과가 재현되는지 검증할 수 있다. 스타트업에는 시험 자동화 도구와 업종별 평가 자료, AI 이전 서비스가 사업 기회가 될 수 있다. 금융권 역시 투자 대상 기업의 AI 지원 기간과 교체 비용을 확인하면 성장 전망을 더 현실적으로 판단할 수 있다고 박 대표는 제언했다.