초기 10명 중 3명은 교육·평가·에이전트 도구 운영 맡아야

핵심 요약

  • 해커눈 기고문은 AI 도입 성과를 첫 버전 출시 속도와 코드 병합 후 실제 운영 환경 배포 시간으로 평가하자고 제안했다. 도구 사용량만으로 업무 개선을 판단하기 어렵다는 지적이다.

소프트웨어 개발 조직의 AI 도입 성과를 높이려면 일시적인 도구 구축을 넘어 상시 운영 인력을 두고, 코드 작성부터 실제 배포까지의 지연을 함께 줄여야 한다는 제언이 나왔다. 해커눈(Hackernoon)에 11월 18일 게재된 기고문은 AI 도구 사용량보다 실제 업무와 소프트웨어 전달 과정이 얼마나 달라졌는지를 평가해야 한다고 지적했다.

필자가 제안한 성과 지표는 두 가지다. 정해진 출발점에서 솔루션의 첫 버전을 출시하기까지 걸리는 시간과, 병합한 코드 변경 사항이 실제 운영 환경에 도달하기까지의 시간이다. 라이선스 수나 AI가 작성한 코드 비율은 도구 사용을 보여줄 뿐, 업무에 AI가 정착했는지를 입증하지 못한다. 첫 달부터 두 지표를 살피고 월간 검토에서는 각 업무 흐름에서 AI 도구가 일하는 방식을 어떻게 바꿨는지 확인하라는 권고다.

기고문에 등장하는 엔지니어링 부문 부사장 토마스(Tomas·가명)의 조직은 코드 작성 이후 대기 시간이 길었다. 다른 팀의 코드베이스에 대한 검토에는 2~3일, 전체 흐름을 확인하는 테스트에는 하룻밤이 걸렸다. 정해진 주기에 맞춘 릴리스까지 최대 2주, 전체 고객을 대상으로 한 단계적 배포에는 약 1주가 필요했다. 코드 병합 후 실제 운영 환경에서 처음 부하를 처리하기까지는 최대 약 3주가 걸렸다. 에이전트에는 운영 지표를 읽을 권한도 없어 자체 작업 결과를 확인할 수 없었다.

구글(Google)의 DORA 연구는 코드 커밋이나 변경 사항이 운영 환경에 성공적으로 배포되기까지의 시간을 변경 리드 타임으로 정의한다. 기고문이 인용한 2024년 DORA 보고서에서 최상위 성과를 보인 팀은 이 시간이 하루 미만이었다. 필자는 토마스 조직처럼 배포까지 최대 3주가 걸리는 상황에서 코드 작성만 빨라져서는 전체 전달 속도가 크게 개선되기 어렵다고 지적했다. 병합부터 배포까지의 시간을 별도 지표로 두면 릴리스 주기, 검토 대기열, 운영 지표 읽기 권한 부재도 AI 도입의 문제로 드러난다.

조직 구성에서는 초기 집중팀과 장기 운영팀을 구분했다. 필자는 10명가량을 몇 달간 제품 업무에서 완전히 분리해 AI 도구를 구축하도록 하고, 이후 7명은 제품팀으로 복귀시키되 3명은 상시 핵심 인력으로 남기는 방식을 제안했다. 복귀한 인력은 실제 기능을 개발하면서 동료에게 도구 활용법을 전파한다. AI 모델과 도구가 계속 바뀌는 만큼 초기 구축을 마친 뒤 모든 인력을 돌려보내면 효과가 저절로 누적된다는 전제는 성립하기 어렵다는 설명이다.

상시 인력 3명의 역할도 나눴다. 한 명은 교육과 동향 파악을, 다른 한 명은 평가와 실험을, 나머지 한 명은 에이전트 도구 조정과 배포를 맡는다. 토마스 조직도 장기적으로 약 3명이 필요하다고 추산했지만, 역할을 이처럼 구분하지 않았고 인력 운용 계획에도 반영하지 않은 상태였다. 기존 제품 업무를 그대로 둔 채 일부 시간만 AI에 배정하면 제품 업무가 다시 이들을 잠식할 수 있다고 필자는 경고했다.

필자가 현재 협업하는 한 회사에서는 8명으로 구성한 AI 전담팀을 12주 동안 별도 임무에 투입했다. 다른 조직과의 연락을 차단해 방해받지 않고 작업할 시간을 확보했다. 반대로 제품 개발을 계속 맡기면서 업무 여력의 4%만 AI에 배정하는 방식은 작동하지 않는다고 평가했다. 초기 집중 기간 이후에는 대부분을 제품팀으로 돌려보내되, 도구와 평가·교육을 계속 관리할 핵심 조직을 유지해야 한다는 주장이다.

예산도 도구 구축에만 한정해서는 안 된다고 기고문은 강조했다. 도입 이유를 설명하는 내부 소통, 워크숍, 해커톤, 필요에 따른 외부 지원까지 포함해야 한다. 필자의 경험상 조직 전체가 처음부터 AI 활용에 익숙한 경우는 없으며, 보통 소수의 적극적인 인력을 중심으로 도입을 시작한다. 때로는 내부 구성원처럼 활동하는 외부 계약 인력이 초기 운영을 돕는다. 이 과정 없이 도구를 만든 뒤 사용만 지시하면 구성원의 반발을 부를 수 있다.

도구 개발자에게 설명과 확산까지 모두 맡기지 말라는 권고도 담겼다. 필자는 뛰어난 개발 역량이 곧 소통 역량을 뜻하지는 않는다며, 직접 도구를 활용하면서 다른 팀에 효과를 보여줄 사람을 함께 배치해야 한다고 설명했다. AI를 가장 적극적으로 다루는 인력이 운영 업무와 개발 대기 과제까지 떠안으면 세 가지 모두 부실해질 수 있다. 이 인력을 AI 업무에 집중시키고 나머지 역할을 맡을 사람을 구해야 한다는 지적이다.

책임은 부사장급 경영진이 공개적으로 져야 한다고 필자는 제안했다. 여력이 있다면 부사장이 반년 동안 AI 업무를 직접 맡고 예산 편성, 로드맵 수립, 일부 장애 대응은 동료에게 맡기는 방식이다. 이사회와 동료 앞에서 책임과 위험을 감수하겠다는 의지를 밝히되, 기존 업무를 완전히 넘겨버리지는 않아야 한다. 동료가 기존 업무를 지키는 동안에도 시스템과 프로세스 운영을 계속 지원하고, 제품팀의 전달 속도 개선으로 보답하라는 취지다.

기고문은 AI 사용 확산과 성과를 구분하기 위해 여러 연구를 인용했다. 2025년 DORA 연구에서는 응답자의 90%가 이미 업무에 AI를 사용한다고 답했다. 이 연구는 AI가 조직의 기존 강점과 약점을 확대하는 증폭기라고 설명했다. HBS Online이 제시한 AI 전환의 네 요소인 전략·거버넌스·아키텍처·문화도 필요하지만, 필자는 이를 실행하려면 당장 누가 제품 업무를 내려놓을지부터 정해야 한다고 짚었다.

2025년 MIT NANDA 보고서는 조직의 95%가 생성형 AI 시범사업에서 투자 수익을 전혀 얻지 못했다고 제시했다. 다만 기고문은 이 보고서가 설문 응답 153건에 기반하며 방법론에 논란이 있다는 점을 함께 명시했다. 필자는 시범사업이 끝나고 인력이 원래 업무로 돌아가면 효과도 사라지는 현상이 자신의 멘토링 경험과 맞닿아 있다고 설명했다.

METR의 2025년 연구에서는 숙련 개발자가 AI 도구를 사용할 때 작업에 19% 더 오래 걸렸는데도 자신은 20% 더 빨라졌다고 믿었다. 필자는 라이선스 사용 보고서라면 이들을 모두 도입자로 집계했을 것이라며, 사용 여부와 실제 생산성은 다를 수 있다고 지적했다. 도구를 사용해도 전체 전달 시간이 줄지 않는다면 코드 작성 이후 단계에 병목이 있는지 확인해야 한다.

필자는 초기팀이 해산한 뒤 도구를 최신 상태로 유지할 사람이 없으면 3개월 뒤 제품팀이 약속대로 작동하지 않는 플랫폼에 불만을 터뜨릴 수 있다고 경고했다. 도입이 실패하면 팀들은 도구 개발팀보다 소통을 책임지지 않은 부사장을 탓하게 된다는 지적도 덧붙였다. 상시 핵심 인력 유지와 경영진의 소통 책임을 함께 강조한 이유다.

토마스가 자신의 업무에 활용한 사례는 AI 정착의 구체적인 모습을 보여준다. 에이전트가 최고경영진용 진행 상황 표를 5분 만에 만들면 이를 슬랙(Slack)에 붙여 넣어, 슬라이드를 만드는 데 쓰던 한 시간을 줄였다. 필자는 라이선스 수가 아니라 실제 작업 방식이 바뀌었는지를 봐야 한다고 강조했다. 토마스는 아직 전담팀을 선정하지 않았으며, 필자는 팀을 꾸린 뒤 가장 먼저 병합부터 실제 배포까지의 시간을 확인하겠다고 덧붙였다.

인공지능(AI)과 스타트업 분야의 주요 소식을 전합니다.