서버리스 맞춤화 파이프라인으로 엣지·클라우드 배포 지원
핵심 요약
- AWS는 Exowatt가 SageMaker Tuning으로 특정 작업용 AI 모델 2개를 구축해 대형 프런티어 모델보다 정확도를 높이고 비용을 최대 49분의 1로 낮췄다고 밝혔다.
소프트웨어 기업 Exowatt가 SageMaker Tuning으로 특정 작업에 특화한 AI 모델 2개를 구축해 대형 프런티어 모델보다 높은 정확도를 확보하고 비용을 최대 49분의 1 수준으로 낮췄다고 AWS가 소개했다. 범용성보다 비용과 응답 지연이 중요한 기업 업무에서 맞춤형 소형 모델의 활용 가능성을 보여주는 사례다.
AWS에 따르면 Exowatt는 Amazon SageMaker AI의 서버리스 모델 맞춤화 기능으로 엣지와 클라우드에 배포할 모델을 반복적으로 만드는 파이프라인을 구축했다. 튜닝 작업마다 전용 인프라를 미리 확보할 필요가 없어 준비 부담을 줄이고 개선 주기를 단축했다. 엣지 시스템은 클라우드 전용 애플리케이션보다 모델이 차지하는 자원이 적고 응답 시간이 더 예측 가능해야 하는 경우가 많다.
SageMaker는 고객이 인프라를 처음부터 구축하지 않고도 모델을 학습·튜닝·배포할 수 있도록 지원하는 Amazon의 관리형 플랫폼이다. SageMaker Tuning은 특정 예시와 정답 라벨, 프롬프트 등으로 기본 모델을 좁은 용도에 맞게 조정하고 목표 실행 환경에 맞춰 준비한다. Exowatt 사례에서 비용과 정확도를 함께 개선한 배경은 작업 범위에 맞춰 모델 크기를 조정하는 데 있다. 폭넓은 지식을 갖춘 대형 모델은 제한된 업무에서 불필요한 연산 비용과 지연, 운영 복잡성을 더할 수 있다.
이런 성과를 판단하려면 평가 기준도 살펴야 한다. AWS는 같은 날 게시한 평가 편향 관련 글에서 기존 모델이 만든 라벨을 정답으로 삼아 새 모델과 비교하면 대형 범용 모델의 성능을 과대평가할 수 있다고 설명했다. 평가용 데이터가 기존 시스템의 오류를 그대로 물려받으면 실제 업무 성과를 높인 특화 모델도 평가상으로는 더 낮은 점수를 받을 수 있다.
Exowatt의 결과 역시 평가가 실제 해결하려는 업무를 제대로 측정할 때 의미를 갖는다. 기업이 확인해야 할 것은 모델의 순위보다 업무를 더 빠르고 저렴하게, 오류를 줄이며 끝낼 수 있는지다. 큰 비용 차이는 기능을 시험 단계에 둘지 실제 제품에 적용할지를 좌우할 수 있다. 맞춤형 모델이 정확도까지 높인다면 가장 큰 모델을 기본 선택지로 삼을 이유도 약해진다. 다만 이 사례가 프런티어 모델의 필요성이 사라졌다는 뜻은 아니다.
앞으로의 관건은 AWS가 일부 성공 사례를 넘어 SageMaker Tuning을 기업이 반복적으로 활용하는 방식으로 정착시킬 수 있느냐다. 많은 기업이 공유 API와 범용 프롬프트로 모델을 이용하지만, 실험에 적합한 방식도 실제 운영에서는 비용 부담이 커질 수 있다. 특화 모델이 계속 비용 효율을 입증한다면 기업 AI는 하나의 범용 모델에서 여러 소형 맞춤형 모델을 활용하는 방향으로 이동할 수 있다. 이 사례는 Amazon이 기업의 SageMaker·Bedrock 내 최적화 모델 체계 구축을 유도해 추론 이외의 클라우드 매출까지 늘리려는 전략과도 맞닿는다.
