NVIDIA GB300 NVL72

AI 추론 시대를 위해 설계되었습니다.

지금 구매 가능

개요

테스트 타임 스케일링 추론 향상

NVIDIA GB300 NVL72는 72개의 NVIDIA Blackwell Ultra GPU와 36개의 Arm® 기반 NVIDIA Grace™ CPU를 단일 플랫폼에 통합한 완전 수랭식 랙 스케일 아키텍처를 갖추고 있습니다. 이 시스템은 NVIDIA Blackwell GPU 대비 FP4 Tensor Core 연산 밀도는 1.5배, 어텐션 성능은 2배 향상된 성능을 제공합니다. 테스트 타임 스케일링 추론과 AI 추론 작업을 위해 특별히 설계된 시스템입니다. GB300 NVL72로 가속되는 AI 팩토리는 NVIDIA Quantum-X800 InfiniBand 또는 Spectrum-X™ Ethernet, ConnectX-8 SuperNIC™, NVIDIA Mission Control 관리 기능을 기반으로, NVIDIA Hopper 기반 플랫폼 대비 전체 출력 성능을 최대 50배까지 끌어올릴 수 있습니다

Wistron, NVIDIA AI 시스템 생산을 위한 첨단 제조 공장 개방

324,000제곱피트 규모의 텍사스 시설은 NVIDIA Grace Blackwell Ultra를 생산 중이며, Vera Rubin 슈퍼칩도 생산할 예정입니다. 이는 미국 첨단 제조업에 대한 총7억 달러 규모 투자의 일환입니다.

블로 읽기

성능

AI 팩토리 출력 성능을 50배 향상시킵니다

DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72(FP4 Dynamo 세분화 포함). H100(FP8 인플라이트 배칭 포함). 예상 성능은 변경될 수 있습니다.

NVIDIA GB300 NVL72 플랫폼으로 차원이 다른 AI 추론 성능을 경험해 보십시오. GB300 NVL72는 Hopper에 비해 사용자 응답성(사용자당 TPS)이 10배 향상되고 처리량(메가와트(MW)당 TPS)이 5배 향상되었습니다. 이러한 발전이 결합되어 AI 팩토리의 전체 출력이 무려 50배 향상되는 놀라운 성능 향상을 이뤄냅니다.

실시간 영상 생성 30배 가속화

GB300 NVL72는 확산 기반 영상 생성 모델을 위한 최첨단 기능을 도입합니다. 단일 5초 영상 생성 시퀀스는 400만 개의 토큰을 처리하며, NVIDIA Hopper GPU에서 생성하는 데 약 90초가 걸립니다. Blackwell Ultra 플랫폼은 NVIDIA Cosmos™ 같은 월드 파운데이션 모델에서 실시간 영상 생성을 지원하며, Hopper 대비 30배 향상된 성능을 제공합니다. 이를 통해 피지컬 AI 애플리케이션을 위한 사실적이고 시간적 및 공간적으로 안정적인 맞춤형 영상을 제작할 수 있습니다.

HGX H100 vs GB300 NVL72

예상 성능은 변경될 수 있습니다. GPU당 초당 프레임으로 표시된 상대적 성능. Cosmos-1.0-Diffusion-7B-Video2World 720p 60 FPS를 활용한 5초 영상 생성

기능

기술적 혁신

AI 추론

테스트 시간 확장 및 AI 추론은 서비스 품질과 처리량을 극대화하는 데 필요한 컴퓨팅을 증가시킵니다. NVIDIA Blackwell Ultra의 Tensor 코어는 Blackwell GPU 대비 2배 향상된 어텐션 레이어 가속화와 1.5배 더 많은 초당 AI 컴퓨팅 부동 소수점 연산(FLOPS)을 갖추고 있습니다.

고용량 HBM3E 아키텍처

메모리 용량이 클수록 배치 크기 조정과 처리량 성능을 극대화할 수 있습니다. NVIDIA Blackwell Ultra GPU는 1.5배 더 큰 HBM3e 메모리와 추가된 AI 컴퓨팅을 함께 제공하여 가장 긴 컨텍스트 길이에 대한 AI 추론 처리량을 향상합니다.

NVIDIA Blackwell 아키텍처

NVIDIA Blackwell 아키텍처는 가속 컴퓨팅 분야에서 획기적인 발전을 제공하여 탁월한 성능, 효율성, 확장성을 갖춘 새로운 시대를 열어가고 있습니다.

NVIDIA ConnectX-8 SuperNIC

NVIDIA ConnectX-8 SuperNIC의 입출력(IO) 모듈은 2개의 ConnectX-8 장치를 호스팅하여, NVIDIA GB300 NVL72의 각 GPU에 초당 800기가비트(Gb/s)의 네트워크 연결을 제공합니다. 이 제품은 NVIDIA Quantum-X800 InfiniBand 또는 Spectrum-X 이더넷 네트워킹 플랫폼을 통해 동급 최고의 원격 직접 메모리 액세스(RDMA) 기능을 제공하여 최고 수준의 AI 워크로드 효율성을 실현합니다.

NVIDIA Grace CPU

NVIDIA Grace CPU는 최신 데이터센터 워크로드를 위해 설계된 획기적인 프로세서입니다. 오늘날의 주요 서버 프로세서에 비해 2배 높은 에너지 효율로 탁월한 성능과 메모리 대역폭을 제공합니다.

5세대 NVIDIA NVLink

가속 컴퓨팅의 잠재력을 최대한 활용하려면 모든 GPU 간에 원활한 통신이 이루어져야 합니다. 5세대 NVIDIA NVLink™는 AI 추론 모델의 성능을 극대화하는 스케일업 인터커넥트 기술입니다.

NVIDIA Mission Control로 핵심 작업 자동화

NVIDIA Mission Control은 72-GPU NVLink 도메인 전반의 워크로드 오케스트레이션부터 시설과의 통합에 이르기까지 NVIDIA GB300 NVL72 AI 팩토리 운영의 모든 측면을 지원합니다. 추론 및 학습에 즉각적인 민첩성을 제공하면서도 인프라 복원력을 위한 풀스택 인텔리전스를 제공합니다. Mission Control은 모든 기업이 하이퍼스케일급 효율성으로 AI를 실행할 수 있도록 지원하여 AI 실험을 가속화합니다.

모델 실행과 필수 작업 자동화를 위한 플랫폼

NVIDIA DGX Station

NVIDIA GB300 Grace Blackwell Ultra 데스크톱 슈퍼칩을 기반으로 한 NVIDIA DGX Station™을 사용하여 최첨단 AI를 로컬로 개발하고 실행하세요. 대규모 학습 및 추론 워크로드를 가속화하다가 데스크사이드에서 데이터센터까지 손쉽게 확장하세요.

NVIDIA DGX Station에 대해 자세히 알아보기

NVIDIA GB300 Grace Blackwell Ultra 슈퍼칩

NVIDIA GB300 NVL72 랙 스케일 솔루션의 빌딩 블록으로, NVIDIA GB300 Grace Blackwell Ultra 슈퍼칩은 4개의 NVIDIA Blackwell Ultra GPU, 2개의 Grace CPU, 4개의 ConnectX-8 SuperNIC를 갖추고 있습니다. NVIDIA NVLink Switch 기술과 NVIDIA BlueField®-3 DPU를 통해, 18개의 슈퍼칩이 AI 추론 시대를 위해 특별히 구축된 하나의 거대한 GPU로 결합됩니다.

사양