NVIDIA, Cosmos 개발 도구 확대…데이터 블루프린트 5종 제공

NVIDIA는 10월 22일 물리적 AI용 월드 모델 개발을 지원하기 위해 Cosmos 플랫폼의 학습 도구와 시뮬레이션용 체크포인트를 확장하고, Cosmos Data Factory의 클라우드 네이티브 블루프린트 5종을 제공한다고 밝혔다.

월드 모델은 물리적 AI 시스템이 현실 세계를 이해하고 시뮬레이션하도록 돕는 모델이다. Cosmos는 개발자가 배포 전에 학습 데이터를 확충하고 모델을 조정하며 동작과 성능을 검증할 수 있도록 모델·데이터·도구를 제공한다. NVIDIA에 따르면 Cosmos는 서로 다른 오픈 모델 평가 순위표 6개에서 상위 5위 안에 올랐다.

배포 단계에서는 업데이트한 NVIDIA Cosmos 3 NIM 마이크로서비스를 통해 핵심 Cosmos 모델을 구동할 수 있다. NVIDIA는 검증된 구성에서 품질 손실 없이 최대 2배 빠른 추론을 제공하며, 지속적인 영상 분석으로 1초 미만의 시간 안에 경고를 보낼 수 있다고 설명했다.

Cosmos NIM 마이크로서비스 기반의 NVIDIA Metropolis 영상 검색·요약(VSS) Blueprint 3.3은 프롬프트 하나로 영상 AI 애플리케이션을 구성하도록 지원한다. NVIDIA에 따르면 개발팀은 이 도구로 동일 GPU에서 영상 스트림을 40% 더 많이 모니터링할 수 있다.

ADNOC는 Cosmos와 NVIDIA Metropolis VSS Blueprint로 구축한 Fogsphere의 에이전트형 플랫폼 MistIQ를 활용해 65개 현장에서 안전 위험을 실시간 탐지한다. Fogsphere는 드문 사건의 학습용 합성 데이터를 Cosmos Data Factory로 생성해 위험 상황을 실제로 연출하지 않고도 탐지 성능을 개선했다.

NVIDIA는 실제 환경 시험 전 자율 시스템의 행동 정책을 검증할 시뮬레이션용 Cosmos 3 Nano 모델 변형도 제공한다. 개발자는 실제로 포착하기 어려운 다중 시점·다중 센서 시나리오에서 시험을 반복할 수 있으며, 함께 제공하는 코드로 모델을 조정해 자율주행차와 양팔 로봇의 정책을 상호작용형 시뮬레이션에서 학습·평가할 수 있다. 폐루프 시뮬레이션에서 정책을 평가하기 위한 다중 시점·다중 센서 영상 데이터 생성도 지원 범위에 포함됐다.

모델 학습과 최적화에서는 Cosmos Framework의 적용 대상을 넓혔다. NVIDIA는 GTC Berlin에서 Cosmos 3와 함께 더 많은 오픈 모델에 학습·최적화·배포 도구와 작업 절차를 에이전트 스킬 형태로 제공한다고 발표했다. Cosmos Framework는 월드 모델 개발을 위한 도구와 스킬로 구성된 개방형 모듈식 프레임워크다.

개발자와 에이전트는 GR00T, Alpamayo, QWEN, Pi0.5 및 호환되는 Hugging Face 모델을 미세조정과 강화학습으로 조정할 수 있다. NVIDIA는 증류·양자화를 통한 모델 최적화와 추론 배포도 지원한다.

로봇 연구소 MicroAGI는 자기 시점의 물체 조작에 특화한 월드 모델을 개발하기 위해 사람이 물체를 조작하는 영상으로 Cosmos 3를 사후학습했다. NVIDIA에 따르면 원래 추론 모델의 매개변수는 320억 개, 증류한 Nano 모델은 80억 개로 정확도 손실은 없었다.

Roboflow에서는 특정 환경과 작업에 맞춰 데이터를 라벨링하고 Cosmos 3를 사후학습할 수 있다. 개발자는 모델을 Roboflow가 호스팅하는 NVIDIA GPU나 온프레미스 NVIDIA GPU에 배포해 공장·창고의 영상 추론에 활용한다.

학습 데이터 영역에서 NVIDIA는 Cosmos Data Factory에 물리적 AI 학습용 데이터의 라벨링·선별·증강·평가 도구와 스킬을 모았다. 영상 학습 데이터셋을 선별하는 GPU 가속 솔루션 Cosmos Curator는 여러 형태의 데이터와 다중 센서 입력, 처리 블록을 지원하도록 확장됐다.

Cosmos Data Factory의 블루프린트 5종은 GitHub, Microsoft Azure, Nebius, CoreWeave를 통해 이용할 수 있다. 자율주행차 데이터셋 생성은 주행 데이터를 선별·라벨링한 뒤 수집하기 어려운 상황의 합성 사례를 추가하고, 사건 영상 생성은 정지 이미지를 드물거나 위험한 사건의 합성 영상으로 전환한다. 영상 데이터 증강은 장면 구조를 유지하면서 기존 영상의 날씨와 조명을 바꾸는 기능이다.

이미지 속성 증강은 이미지 검색 개선을 위해 물체의 외형을 바꾼다. 결함 이미지 생성은 검사 모델에 사용할 인쇄회로기판·금속·유리의 결함 이미지를 만드는 기능이며, Cosmos Data Factory는 에이전트형 스킬로 데이터 선별·처리·합성 데이터 생성을 지원하고 있다.

NVIDIA는 Porsche가 Microsoft Azure에서 Voxel51을 통해 Cosmos Data Factory를 사용하며 Volkswagen Group 브랜드들이 공유하는 자율주행 데이터 순환 체계 개발을 주도한다고 밝혔다. NVIDIA에 따르면 이를 통해 반복적인 실차 시험 주행을 최대 90%, 개발 주기를 최대 85% 줄일 수 있을 것으로 기대한다.

ANYbotics는 Cosmos Data Factory 블루프린트로 합성 영상 클립 1500개 이상을 생성했다. 실제 데이터를 선별하고 Encord 플랫폼으로 결과물을 검증해 산업 시설 검사 로봇이 시설 방문 사이에 생긴 액체 유출과 다른 변화를 인식하도록 학습에 활용했다는 것이 NVIDIA의 설명이다.

컴퓨터 비전 기업 Ultralytics는 실제 이미지와 Cosmos Data Factory로 생성한 특정 결함의 합성 이미지를 이용해 YOLO 모델을 재학습했다. NVIDIA에 따르면 Ultralytics는 이를 통해 결함 위치 탐지와 재현율을 개선한 것으로 나타났다.

Cosmos는 데이터 생성, 모델 학습·조정, 배포 구성 요소를 모듈식으로 제공하는 개방형 플랫폼이다. 개발자는 Cosmos Data Factory로 학습 데이터를 만들고 Cosmos Framework로 모델을 학습·조정한 뒤, 지원되는 Cosmos 모델을 NIM 마이크로서비스로 배포할 수 있다.