AI 채용, 지원서 1973건 처리했지만 면접 판정은 근무 지속 여부 못 가려

AI 에이전트가 지원서 검토와 면접 예약을 대규모로 처리했지만, AI 면접의 채용 권고가 실제 근무 지속 여부를 구분하지는 못했다. 미국(US) 시장을 대상으로 하는 한 원격의료 기업의 36일간 운영 사례에서 AI가 채용을 권고한 7명 중 2명, 판단을 보류한 12명 중 6명이 관찰 마지막 날까지 일하고 있었다. 다만 표본이 작아 보류 판정이 채용 권고보다 낫다고 결론 내릴 수는 없다.

데브 커뮤니티(Dev Community)에 실린 이 사례는 실제 기업에서 AI 에이전트가 관리 업무를 맡는 과정을 다룬 연재의 두 번째 글이다. 회사명은 비밀유지계약에 따라 공개하지 않았다. 첫 지원자가 CRM에 등록된 날을 1일째로 삼아 36일째 현황을 분석했으며, 수치는 회사 CRM과 AI 면접 기록, 채용 에이전트 파일에서 가져왔다. 앞선 글이 전화 업무팀의 AI 관리자를 다뤘다면 이번 글은 같은 팀의 채용 과정을 추적했다.

채용 직무는 협력 의사에게 전화해 초기 이용을 돕고 활동을 유지하도록 지원하는 업무로, 아웃바운드 전화 영업 경험과 재택 전일 근무가 필요했다. 공고 하나에 32일째까지 약 2400건이 접수됐고 유사한 두 번째 공고에서도 지원서가 들어왔다. 정밀 검토 대상 1973건을 채용 담당자 한 명이 읽으려면 65~100시간이 필요했다. 1차 면접을 맡을 현장 관리자는 일상적인 팀 운영도 책임지고 있었다.

Claude 기반 채용 에이전트는 채용 사이트의 지원서, 사전 심사 답변, 경력을 읽고 경영진이 정한 기준에 따라 후보자를 골랐다. CRM 등록부터 면접 시간 제안과 예약까지 맡았으며, 제안한 시간이 맞지 않으면 회신하라는 안내를 초대와 함께 보냈다. 따라서 데이터에는 지원자의 별도 수락 단계가 없고 선발 즉시 예약으로 넘어갔다. 경영진은 첫 15일 동안 전화 영업 경력만 인정하기, 면접 불참자에게 재기회를 주지 않기, 관리자의 과거 판단을 반영한 점검표 강화 등 선발 기준을 8차례 바꿨다.

36일 동안 에이전트가 정밀 검토한 지원서는 1973건, CRM에 등록한 후보자는 142명이었다. 이 가운데 130명에게 사람이 진행하는 면접 138건을 예약했고, 실제 진행은 81건, 무단 불참은 37건이었다. 진행 건수를 진행과 불참의 합계로 나눈 참석률은 68.6%로, 불참은 거의 3건 중 1건에 달했다. 두 번째 달력 주에는 약 40%에 근접했다. 관리자 면접의 합격·불합격 기록은 각각 42건과 37건이었다.

선발 이후 결정 지연도 병목이었다. 15일째 관리자 면접을 통과한 37명 모두 CRM에 채용 결정이 없었고, 가장 오래 기다린 후보자는 13일째 대기 중이었다. 일부는 이미 CRM 계정을 받았지만 채용·탈락 결정은 남아 있지 않았다. 앞선 글의 AI 관리자는 이 적체를 일일 요약에서 거듭 알렸으나 직접 채용할 권한은 없었다. 계정 발급, 근무 시작일 지정, 신입을 맞이할 담당자 배정은 사람이 해야 했다.

경영진은 15일째 사람 관리자의 1차 면접을 AI 면접으로 대체하기로 했다. 지원자는 로그인 없이 마이크로 접속하는 개인 링크를 받아 약 15분간 면접을 진행했다. 회사 임원 모습의 AI 아바타 영상이 다섯 가지 질문과 시작·전환·마무리 안내를 전달하고, 음성 AI는 모호한 답변에 추가 질문을 한 차례 하거나 역할극에서 의사를 연기했다. 질문은 수치를 포함한 과거 아웃바운드 영업 경험, 실제 업무 일과, 다른 일정이나 의무, 전일 근무 가능 여부, 근무 시작일을 다뤘다. 이어 5분간 바쁜 의사를 설득해 첫 약속을 받아내는 역할극을 진행하고 지원자가 질문할 기회를 줬다.

별도 모델은 말하는 방식이 아닌 답변 내용만으로 면접 기록을 평가해 채용 권고(HIRE), 보류(MAYBE), 탈락(NO)과 사유를 CRM에 기록했다. 함께 저장한 숫자 90·50·10은 각 판정에 대응하는 고정값이었다. 앞선 글에서 AI 관리자의 주간 보고서가 지원자 3명을 AI 면접 90/100점으로 표현했지만, 실제 측정 점수가 아니라 HIRE 표시였다. 이 표현은 앞선 글에서도 오해를 유발한다고 지적됐다.

16~36일째 AI 면접 초대를 받은 41명 중 22명, 약 54%가 완료했다. 완료 사례는 모두 16~26일째에 몰렸고, 마지막 열흘에는 초대를 계속 보냈는데도 완료자가 없었다. 기록만으로 이유는 알 수 없다. 중단하려던 사람 면접도 AI 전환 방침이 나온 주에 4건, 21~36일째에 23건이 다시 예약됐다. 최종 AI 판정은 HIRE 7명, MAYBE 12명, NO 3명이었으며, 초기에 NO를 받은 1명은 평가 규칙을 수정한 뒤 MAYBE로 재평가됐다.

AI와 사람의 평가가 모두 남은 후보자는 16명이었다. 이 중 HIRE 5명은 모두 관리자 판단과 일치했지만 NO 2명은 모두 불일치했다. 두 사람은 수주 전 사람 면접을 통과했다. MAYBE 9명에서는 합격 6건과 불합격 4건으로 갈렸으며, 1명이 두 차례 면접을 봤다. 사람 면접과 AI 면접의 선후 관계는 후보자마다 달랐다.

실제 전화를 거는 하루짜리 시험 근무는 21일째 시작됐고, 팀장이 당일 결과를 평가·기록했다. HIRE 7명은 모두 CRM 계정을 받았지만 실제 통화자는 4명, 36일째 근무자는 2명이었다. MAYBE 12명 중 계정 발급자는 9명, 통화자는 8명, 근무자는 6명이었다. NO 3명에게는 계정을 발급하지 않았다. AI 면접을 받지 않은 101명 중에서는 13명이 계정을 받고 6명이 통화를 시작했으며 2명이 근무를 이어갔다. 별도로 AI 면접에 초대됐으나 응하지 않은 1명도 계정을 받아 통화한 뒤 그만뒀다.

계정 발급자 총 30명 중 11명은 한 번도 전화하지 않았다. 통화를 시작한 19명 중 9명은 1~4일 만에 중단했다. 5명은 시험 근무 후 회사가 종료했고, 1명은 자진 이탈했으며, 3명은 누가 종료했는지 기록에 없었다. 남은 근무자는 10명이었다. AI 관리자가 90/100점으로 보고했던 3명도 모두 21일째 시험 근무가 잡혔지만, 1명만 계속 근무했고 1명은 통화하지 않았으며 1명은 하루만 통화했다. HIRE의 7명 중 2명과 MAYBE의 12명 중 6명을 비교한 피셔의 정확 검정 결과는 p≈0.63으로, 판정 이름이 시사하는 변별력을 확인하지 못했다.

처리 속도에서는 변화가 더 뚜렷했다. 동일하게 CRM 등록 후 7일을 비교하면 16일째 이전 등록자 112명 중 1명, 16~29일째 등록자 28명 중 6명이 첫 통화를 했다. 다만 21일째 시작한 시험 근무도 영향을 미쳐 이를 AI 면접만의 효과로 볼 수는 없다. 실제 업무를 시작한 19명은 모두 계정 발급 후 1~4일 안에 첫 통화를 했고, 지연은 계정 발급 전에 발생했다.

채용 에이전트는 면접 대상자를 고르지만 최종 채용을 결정하지는 않았다. 앞선 글의 AI 관리자와 달리 CRM에 결정을 기록할 수 있는 별도 에이전트였다. CRM에 남은 채용·탈락 단계 변경 48건 중 사람이 입력한 것은 36건, 에이전트가 입력한 것은 12건이었다. 에이전트가 입력한 채용 4건은 모두 팀 채팅에 남은 팀장 결정을 근거로 삼았고, 그중 1건에는 CRM 활동을 통한 시험 근무 확인도 덧붙였다.

그러나 AI가 NO로 판정한 3명은 모두 그 결과를 근거로 탈락했다. 에이전트가 2건, 사람이 10점이라는 근거로 1건을 입력했으며, 3명 중 2명은 앞서 사람 면접에 합격했다. 어느 경우에도 탈락 전에 사람이 답변 기록을 읽었다는 기록은 없었다. 사례 글은 이를 AI 판정만으로 지원 절차가 끝난 지점으로 짚고, 적용 대상이라면 일리노이(Illinois)의 AI 단독 선별 관련 보고 의무 같은 규정이 주목할 대목으로 봤다.

글은 이 사례에 적용되지는 않는 두 법률도 비교 기준으로 제시했다. 뉴욕시(New York City)의 조례 144호는 시내 일자리에 쓰는 자동화 채용 결정 도구에 최근 1년 이내의 독립 편향 감사와 감사 요약 공개를 요구한다. 사용 최소 10영업일 전에 평가 자격요건과 대체 절차·편의 제공 요청 방법도 알려야 한다. 다만 도구가 결정을 실질적으로 지원하거나 대체하는지에 따라 적용 여부가 쟁점이 될 수 있다. 일리노이의 인공지능 영상면접법은 주내 일자리 지원자가 녹화한 영상면접을 AI로 분석하는 고용주에게 사전 고지·설명·동의, 영상 열람 제한, 요청 후 30일 이내 삭제를 요구한다. 2026년 초 시행된 일리노이 인권법 개정은 영상 여부와 관계없이 모집·채용에 AI를 쓰면 알리도록 한다고 글은 설명했다.

이 기업의 면접 페이지는 답변을 팀을 위한 텍스트로 저장하고 역할극의 의사를 AI가 맡는다고 안내했다. 지원자는 답변을 다시 녹음할 수 있었고 HIRE·MAYBE 19명 중 14명은 사람 면접도 봤다. 반면 사람 면접을 대안으로 제시하지 않았고 별도 동의 단계나 편향 감사 기록도 없었다. 지원자를 촬영하지는 않았지만, 임원 영상이 AI 아바타라는 점과 음성 AI가 추가 질문을 한다는 점, 별도 모델이 판정을 작성한다는 점은 알리지 않았다. 한 지원자가 면접 도중 이것이 채용 절차의 일부인지 물은 사례는 고지의 공백을 드러냈다.