AI 서버 부품 수급 압박…협업 부족으로 프로젝트 60·90·120일 지연될 수도

핵심 요약

  • 델 테크놀로지스 경영진과 클라우드 업체들은 뉴욕 심포지엄에서 기업 AI 도입에 새로운 운영·비용 모델이 필요하다고 설명했다. 중소기업의 GPU 접근성과 데이터 주권도 과제로 다뤘다.

델 테크놀로지스(Dell Technologies Inc.) 뉴욕(New York) 심포지엄에서 기업 AI 도입의 과제로 토큰 비용 관리와 인프라 배치, 클라우드 운영 역량이 제시됐다. 델 경영진과 클라우드 인프라 업체들은 더큐브(theCUBE) 인터뷰에서 서버·스토리지·컴퓨팅 용량 확보를 넘어 업무 방식과 비용 구조, 데이터 통제까지 함께 설계해야 한다고 설명했다.

AI 배포 규모가 커지면서 기업 재무팀은 토큰 소비를 별도 예산 항목으로 관리하고, 어떤 작업을 온프레미스에서 더 경제적으로 실행할 수 있는지 검토하고 있다. 데이비드 케네디 델 최고재무책임자는 반복적인 재무 업무에 가중치 공개 모델을 활용하면 변동적인 토큰 지출을 더 예측 가능한 고정비로 바꿀 수 있다고 설명했다. 그는 “반드시 토큰의 양과 비용에 관한 문제만은 아니다. 사용하는 토큰이 중요하다. 이를 효율적으로 사용할 수 있는가? 그렇다면 훌륭한 결과를 보게 될 것”이라고 말했다.

업무 운영 방식도 바뀌고 있다. 존 로즈 델 글로벌 최고기술책임자 겸 최고AI책임자에 따르면 델은 거의 2년간 내부에서 완전 자율 에이전트를 운영하며 조직의 지식을 에이전트 행동을 안내하는 기계 판독형 스킬 파일에 담아왔다. 그는 “AI 시스템을 설계할 때 경쟁 우위를 지키는 것은 실제 도구가 아니라는 점을 알아야 한다. 모델조차 아니다. 경쟁사와 달리 무엇을 알고 어떻게 일하는지를 담아내는 새로운 형태로 나타나는 특별한 지식”이라고 말했다. 프런티어 모델과 공개 모델을 사용할 수 없다는 뜻은 아니라고도 덧붙였다.

추론 확대는 AI를 어디에서 실행할지에 대한 판단도 바꾸고 있다. 델은 데스크톱부터 데이터센터까지 아우르는 에이전트형 AI 제품군을 확대했으며, 기업들은 성능·데이터 통제·비용에 따라 클라우드와 데이터센터, 엣지 기기에 작업을 배치하고 있다. 카일 듀프레인 델 영업 수석부사장은 “사업 책임자들이 ‘추론 비용이 정말 높아지고 있다. 혁신을 억제하지 않으면서 어떻게 비용을 줄일 수 있을까?’라고 말하는 모습을 보고 있다”며 “그 전반에 걸쳐 이런 일이 일어나지만, 점점 더 말단 엣지에서 발생하고 있다”고 말했다.

인프라 공급도 제약 요인이다. 데이비드 슈무크 델 글로벌 매출 운영 수석부사장에 따르면 AI 서버 수요로 메모리·프로세서부터 랙 단위 냉각·네트워크·전력 장비까지 공급이 압박받고 있다. 그는 “그런 공동 계획을 세우지 않아 프로젝트가 60일, 90일, 120일 지연됐을 수 있다. 이는 비용과 사업 양쪽에 영향을 준다”며 “우리를 더 일찍 참여시켜 달라. 여러분과 그런 협업을 할 수 있게 해 달라”고 말했다.

대기업만큼 자원이 없는 중소기업의 GPU 접근성도 논의됐다. 코멧 클라우드(Comet Cloud Inc.) 창업자 겸 최고경영자 토머스 가토는 구매 약정과 공급자의 고객 선정 때문에 이 시장의 AI 인프라 접근이 제한된다고 지적했다. 그는 “지금 아마존 웹 서비스(Amazon Web Services)에 가면 다년 계약을 원한다. 누구를 받아들일지 고르고 있다. 중소기업은 AI를 이용할 수 있는 그 범위에조차 들지 못하고 있다. 바로 그것이 우리의 초점”이라고 말했다. 코멧 클라우드는 소규모 조직의 컴퓨팅 환경 통제권을 높이는 대안을 개발하고 있다. 가토는 “우리는 클러스터를 구성해 기업 전체에 제공한다. 모든 정보와 보안, 모든 것이 그 클러스터 안에 있다. 다른 누구도 거기에 연결돼 있지 않다”고 설명했다.

알파 컴퓨트(Alpha Compute Corp.)는 데이터 주권과 기밀 컴퓨팅 요구를 중심으로 네오클라우드 인프라를 구축하고 있다. 톰 리처 알파 컴퓨트 수석부사장은 설계 단계부터 주권을 고려해 고객이 민감한 작업에 대한 통제권을 유지하고 유럽 규정 등에 따른 데이터 저장 위치 의무를 충족하도록 돕는다고 설명했다. 그는 “하드웨어에서 시작한다. 스택을 생각해 보라. 칩 수준까지 내려가 격리 영역을 만들고 있다”며 “우리는 델 파트너이므로 델 기술과 인텔(Intel) 기술을 사용한다”고 말했다.

GPU 인프라를 계속 가동하려면 구축 이후의 운영 지원도 필요하다. 알파 컴퓨트는 이를 위해 통합 인프라 지원과 지속적인 관리형 서비스를 제공한다. 리처는 “여러 공급자를 조합할 수는 있지만 문제가 생기면 책임 떠넘기기가 시작된다”며 “성공을 보장하고 전체 구축을 도운 뒤, 모든 것이 정상적으로 가동되고 서비스 수준 협약에 맞게 성능을 유지하도록 관리형 서비스를 제공하는 통합 솔루션 공급자를 원하게 된다”고 말했다.

보안 환경 변화도 운영 준비의 일부다. 특히 금융기관은 신뢰성, 규제 의무, 기술 투자 수익 입증 요구를 고려해 도입을 결정해야 한다. 존 시몬 델 사장 겸 최고보안책임자는 AI가 과거에는 훨씬 많은 자원을 필요로 했던 공격 역량을 숙련도가 낮은 공격자에게도 제공한다고 지적했다. 그는 “피라미드는 여전히 존재한다고 생각하지만 진입 비용과 장벽은 분명히 무너졌다”며 “다시 말해 내일의 가장 수준 낮은 공격도 1년 전 세상이 경험했던 어떤 공격보다 정교하다”고 말했다.

인공지능(AI)과 스타트업 분야의 주요 소식을 전합니다.