NVIDIA 메모리 컨트롤러를 HBM 베이스 다이에 통합
애나푸르나랩스, Trainium4부터 NVLink 지원
핵심 요약
- NVIDIA는 8월 26일 메모리 대역폭을 최대 30% 높이고 HBM 전력 소비를 15% 줄이는 NVHBM을 공개했다.
- NVIDIA는 8월 26일 NVHBM이 표준 HBM4E보다 XPU 연산 다이 면적을 최대 25% 더 확보한다고 밝혔다.
- Amazon Annapurna Labs는 8월 26일 공개된 NVHBM 협력에 참여하고 Trainium4부터 NVLink Fusion을 지원할 예정이다.
NVIDIA는 8월 26일 NVLink Fusion을 확장하고, XPU의 메모리 대역폭을 최대 30% 높이면서 HBM 전력 소비를 15% 줄이는 차세대 고대역폭 메모리 기술 NVHBM을 공개했다고 밝혔다.
NVHBM은 NVIDIA의 맞춤형 메모리 컨트롤러를 XPU 연산 다이가 아닌 3D HBM 스택의 베이스 다이에 통합하는 기술이다. 기존 HBM은 XPU 다이에 메모리 컨트롤러를 배치해 연산에 쓸 수 있는 실리콘 면적을 차지한다.
NVIDIA에 따르면 NVHBM은 표준 HBM4E와 비교해 XPU 연산 다이 면적을 최대 25% 더 확보한다. NVIDIA가 향후 GPU에 적용할 기술을 기반으로 하며, 주요 메모리 협력사가 검증해 NVLink Fusion 고객에게 공급할 예정이다.
NVIDIA는 복수 메모리 공급사가 제공할 수 있는 표준 NVHBM 구현도 마련한다. 고객이 여러 공급사의 메모리를 통합하고 적격성을 검증하는 데 필요한 엔지니어링 부담을 줄여 맞춤형 AI 칩의 출시 기간을 단축한다는 구상이다.
Amazon의 Annapurna Labs는 NVLink Fusion을 둘러싼 양사 협력의 하나로 NVHBM을 적용하는 첫 기업이 된다. Annapurna Labs는 AI 워크로드의 성능과 효율을 높이기 위해 NVIDIA와 NVHBM 기술 및 NVLink 스케일업 아키텍처를 공동 개발한다.
Annapurna Labs는 차세대 Trainium 칩 가운데 Trainium4부터 NVLink Fusion을 지원할 예정이다. 이를 통해 Amazon 칩과 NVIDIA GPU가 공통 랙 스케일 아키텍처에서 함께 작동할 수 있을 것으로 예상된다.
Nafea Bshara Amazon Annapurna Labs 부사장은 "NVHBM은 고대역폭 메모리의 성능과 효율을 높이는 새로운 아키텍처 접근법"이라며 "이 기술 협력이 향후 AWS 인프라 설계에 도움이 되기를 기대한다"고 말했다.
NVLink Fusion은 협력사가 맞춤형 XPU와 CPU를 NVIDIA의 랙 스케일 플랫폼에 연결하도록 지원한다. 협력사는 NVIDIA NVLink 칩렛, NVLink-C2C, NVLink Switch, NVIDIA MGX 시스템과 랙뿐 아니라 CPU·ASIC·시스템 제조·기술 공급사 생태계도 활용할 수 있다.
NVIDIA는 랙 스케일 시스템 아키텍처의 각 세대에 NVLink Fusion을 제공한다. 하이퍼스케일러와 AI 기업은 검증된 스케일업·스케일아웃 네트워킹, 랙 스케일 시스템, 소프트웨어 기술을 활용하면서 XPU 개발에 엔지니어링 자원을 집중할 수 있다는 설명이다.
