NVIDIA NVLink 및 NVLink Switch
AI 학습, 추론 및 기타 고부하 랙 스케일 GPU 가속 워크로드를 위해, 고대역폭 GPU 간 통신을 지원하는 스케일업 네트워킹 패브릭을 구현합니다.
더 빠른 스케일업 인터커넥트의 필요성
최신 AI 모델에서 최상의 성능을 구현하려면, 서버 랙 전체를 연결하는 원활한 고처리량 GPU 간 통신이 뒷받침되어야 합니다. 6세대 NVIDIA NVLink™ 및 NVLink 스위치는 낮은 지연 시간, 대규모 네트워크 대역폭, 올투올 연결성을 통해 훈련과 추론을 가속화하며, 이를 바탕으로 더 빠른 추론 및 에이전틱 AI 워크로드를 처리할 수 있도록 설계되었습니다.
NVIDIA NVLink를 통해 시스템 처리량과 가동 시간을 극대화하세요.
6세대 NVLink은 NVIDIA Rubin 플랫폼에서 GPU당 3.6TB/s의 대역폭을 지원하며, 이는 이전 세대 대비 2배, PCIe 6세대 대비 14배를 상회합니다. NVIDIA Vera Rubin NVL72와 같은 랙 스케일 아키텍처는 72개의 GPU를 올투올 토폴로지로 연결하여 총 260 TB/s의 대역폭을 구현하며, 선도적인 전문가 혼합 모델 아키텍처의 학습 및 추론에 필수적인 방대한 올투올 통신 대역폭을 제공합니다. NVLink 6 스위치는 시스템 가동 시간 극대화를 위해 설계된 새로운 관리 및 회복 탄력성 기능을 도입했습니다. 여기에는 제어 평면 탄력성, 랙의 일부 구성만으로 운영 가능한 기능, 그리고 스위치 트레이의 핫스왑 기능이 포함됩니다.
NVLink 규모별 성능
NVIDIA Rubin에 탑재된 6세대 NVIDIA NVLink는 최신 AI 모델 아키텍처의 학습 및 추론 속도를 높이기 위해, GPU 간 통신 대역폭을 이전 세대 대비 2배로 확대했습니다.
NVLink Communications를 사용하여 추론 처리량 향상
NVIDIA NVLink 및 NVLink Switch로 GPU 완전 연결
NVLink는 서버 내부에서 멀티 GPU 입출력(IO)을 확장해 주는 3.6 TB/s 대역폭의 양방향 직접 GPU 간 인터커넥트 기술입니다. NVIDIA NVLink 스위치 칩은 여러 NVLink를 연결하여, 랙 전체에서 모든 GPU 간의 올투올을 최대 NVLink 속도로 지원합니다.
고속 집합 연산을 지원하기 위해, 각 NVLink Switch에는 네트워크 내 축소(in-network reduction) 및 멀티캐스트 가속을 위한 NVIDIA SHARP(Scalable Hierarchical Aggregation and Reduction Protocol)™ 엔진이 탑재되어 있습니다.
NVLink Switch 시스템을 사용하여 수조 개의 매개변수 모델을 위한 테스트 시간 추론 가속화
NVLink Switch를 활용하면 노드 간 NVLink 연결을 확장해 높은 대역폭의 멀티 노드 GPU 클러스터를 구축할 수 있어, 데이터센터급 GPU 환경을 효과적으로 구현할 수 있습니다. NVIDIA NVLink 스위치는 대규모 모델 병렬 처리를 위해 단일 NVIDIA Vera Rubin NVL72에서 260TB/s의 GPU 대역폭을 구현합니다. NVLink 기반 멀티 서버 클러스터는 증가된 컴퓨팅 성능에 맞춰 GPU 간 통신을 균형 있게 확장하며, 이를 통해 NVIDIA Vera Rubin NVL72는 단일 8-GPU 시스템 대비 9배 더 많은 GPU를 수용할 수 있습니다.
NVIDIA NVLink Fusion
NVIDIA NVLink Fusion은 맞춤형 컴퓨팅을 위한 업계 최고 수준의 AI 성능 확장을 제공하며, 하이퍼스케일러가 NVIDIA NVLink 기술과 랙 스케일 아키텍처를 기반으로 공통의 AI 인프라를 구축할 수 있도록 지원합니다.
엔터프라이즈에서 엑사스케일로 확장
비교할 수 없는 성능을 제공하는 완전 연결
Vera Rubin NVL72의 NVLink 스위치 칩은 논블로킹 컴퓨팅 패브릭을 통해 72개의 GPU가 완전히 연결된 환경을 구현합니다. NVLink Switch는 모든 GPU 쌍을 3.6 TB/s의 놀라운 속도로 상호 연결합니다. 완전한 올 투 올 커뮤니케이션을 지원합니다. Vera Rubin NVL72에 있는 72개의 GPU는 최대 3.6엑사플롭스의 AI 컴퓨팅 성능을 갖춘 단일 고성능 가속기로 사용할 수 있습니다.
가장 강력한 AI 및 HPC 플랫폼
NVLink 및 NVLink Switch는 완전한 NVIDIA 데이터센터 솔루션의 필수 구성 요소이며 해당 솔루션은 NVIDIA AI Enterprise 소프트웨어 제품군과 NVIDIA NGC™ 카탈로그의 하드웨어, 네트워킹, 소프트웨어, 라이브러리 및 최적화된 AI 모델 및 애플리케이션을 통합합니다. 연구원들은 가장 강력한 엔드 투 엔드 AI 및 HPC 플랫폼을 활용해 실제 결과를 도출하고 솔루션을 프로덕션에 배포함으로써, 모든 규모에서 전례 없는 가속화를 실현할 수 있습니다.
사양
-
NVLink
-
NVLink Switch
| 4세대 | 5 세대 | 6세대 | |
|---|---|---|---|
| GPU당 NVLink 대역폭 | 900GB/s | 1,800GB/s | 3,600GB/s |
| GPU별 최대 연결 수 | 18 | 18 | 36 |
| 지원되는 NVIDIA 아키텍처 | NVIDIA Hopper™ 아키텍처 | NVIDIA Blackwell 아키텍처 | NVIDIA Rubin 플랫폼 |
| NVLink 4 스위치 | NVLink 5 스위치 | NVLink 6 스위치 | |
|---|---|---|---|
| NVLink 도메인 내 직접 연결을 지원하는 GPU 수량 | 최대 8개 | 8 |72 | 8 |72 |
| NVSwitch GPU 간 대역폭 | 900GB/s | 1,800GB/s | 3,600GB/s |
| 총 집계 대역폭 | 7.2TB/s | 130TB/s (NVL72) | 200TB/s (NVL72) |
| 지원되는 NVIDIA 아키텍처 | NVIDIA Hopper™ architecture | NVIDIA Blackwell 아키텍처 | NVIDIA Rubin 플랫폼 |
예비 사양은 변경될 수 있습니다.
NVIDIA Rubin 플랫폼에 대해 자세히 알아보세요.