로봇 조작 4개 과제군 평균 성공률 70.2%…기준 시스템은 62.6%
핵심 요약
- 엔비디아가 로봇 궤적을 한 번에 생성하는 VFlash를 개발했다. 연구진은 궤적 디코딩 속도가 최대 12배 빨라지고, 특정 3차원 궤적 예측 시험에서 오차가 최대 61% 줄었다고 보고했다.
엔비디아(NVIDIA) 연구진이 로봇 궤적 디코딩 속도를 최대 12배 높이는 시각적 계획 기법 VFlash를 개발했다. 연구진에 따르면 이 기법은 특정 3차원 궤적 예측 시험에서 오차를 최대 61% 줄였다. 좌표를 하나씩 생성하는 대신 전체 궤적과 공간 예측 결과를 한 번에 생성하는 방식이다.
로봇 조작 시험에서는 Jetson Thor와 DGX Spark에서 전체 추론 지연시간이 약 80% 줄었다. Jetson Thor의 경우 기존 자기회귀 디코딩에서 3552.7밀리초였던 지연시간이 VFlash 적용 후 703.3밀리초로 짧아졌다. 시각적 예측 속도가 빨라지면 변화하는 환경에 로봇이 더 빠르게 대응하는 데 도움이 될 수 있다.
연구진은 예측 속도 향상이 후속 로봇 제어 성능에도 도움이 되는지 살폈다. VFlash의 로봇 조작 평균 성공률은 4개 과제군에서 70.2%로, 기준 시스템의 62.6%를 웃돌았다. 물체를 집어 옮기는 과제와 물체를 닫는 과제에서 성공률이 각각 11.6%포인트, 12.8%포인트 높아져 개선 폭이 가장 컸다.
VFlash는 요청받은 시각적 예측의 구조를 먼저 파악한다. 경계 상자는 좌표 구성이 고정돼 있지만 궤적은 개수가 달라지는 2차원·3차원 점으로 이뤄질 수 있다. 경량 확산 기반 초안 생성기가 이 좌표들을 한 번의 순전파로 함께 예측한다. 생성 토큰을 대상 모델과 대조하는 기존 추측 디코딩과 달리, VFlash는 토큰별 일치 없이도 구조적으로 유효한 시각적 예측을 받아들일 수 있다.
기존 비전 언어 모델은 공간 좌표를 순차적으로 생성해 궤적이 길어지거나 추적 대상과 공간 정보가 늘면 처리시간도 길어질 수 있다. 연구진은 여러 2차원·3차원 로봇 궤적 예측 과제에서 VFlash의 오차 감소를 확인했다. 3차원 궤적의 평균 변위 오차 감소 폭은 데이터셋과 학습 구성에 따라 최대 61%였다. 영상 프레임에 걸친 물체의 미래 움직임 예측에서도 예비 단일 롤아웃 측정 결과, 자기회귀 디코딩보다 생성 속도가 약 25배 빨랐다.
자율주행 분야에서는 NAVSIM과 Waymo 데이터셋으로 VFlash를 시험했다. 주행 궤적 생성에서 경쟁력 있는 벤치마크 성능을 보였고, 강화학습을 적용하자 계획 성능이 더 개선됐다. 연구 결과는 상세한 시각적 계획을 효율적으로 생성하면 물리적 AI 시스템이 공간 정확도를 유지하면서 환경 변화에 더 빠르게 대응할 가능성을 보여준다.
