NVIDIA GB300 NVL72
Entwickelt für das Zeitalter des KI-Reasoning.
Jetzt erhältlich
Überblick
Entwickelt für KI-Reasoning-Leistung
Das NVIDIA GB300 NVL72 verfügt über eine vollständig flüssigkeitsgekühlte Rack-Scale-Architektur, die 72 NVIDIA Blackwell Ultra-GPUs und 36 Arm®-basierte NVIDIA Grace™-CPUs in eine einzige Plattform integriert. Das System liefert eine 1,5-fache FP4 Tensor Core FLOPS-Dichte und eine 2-mal höhere Attention-Performance im Vergleich zu NVIDIA Blackwell GPUs. Es wurde speziell für Inferenz mit Testzeit-Skalierung und KI-Schlussfolgerungsaufgaben entwickelt. KI-Fabriken, die durch die GB300 NVL72 beschleunigt werden – unter Nutzung von NVIDIA Quantum-X800 InfiniBand oder Spectrum-X™ Ethernet, ConnectX-8 SuperNIC™s und NVIDIA Mission Control-Management – liefern eine bis zu 50-fache Steigerung der gesamten Output-Leistung von KI-Fabriken im Vergleich zu NVIDIA Hopper-basierten Plattformen.
Leistung
Skalierung von KI-Fabriken auf ein beispielloses Niveau
DeepSeek R1 ISL = 32K, OSL = 8K, GB300 NVL72 mit FP4 Dynamo Disaggregation. H100 mit FP8 In-Flight-Batching. Die projizierte Leistung kann Änderungen unterliegen.
Erleben Sie KI-Reasoning-Leistung auf einem neuen Niveau mit der NVIDIA GB300 NVL72 Plattform. Im Vergleich zu Hopper bietet die GB300 NVL72 eine beeindruckende 10-fache Verbesserung der Benutzerreaktionsfähigkeit (TPS pro Benutzer) und eine 5-fache Verbesserung des Durchsatzes (TPS pro Megawatt (MW)). Zusammen führen diese Fortschritte zu einem bemerkenswerten 50-fachen Sprung der Gesamtleistung für KI-Fabriken.
Eigenschaften
Technologische Durchbrüche
KI-Reasoning-Inferenz
Skalierung in der Testzeit und KI-Reasoning erhöhen die Rechenleistung, die für hohe Servicequalität und einen maximalen Durchsatz erforderlich ist. Die Tensor-Recheneinheiten von NVIDIA Blackwell Ultra sorgen für eine doppelt so hohe Beschleunigung auf der Aufmerksamkeitsebene und 1,5-mal mehr KI-Compute-Gleitkomma-Operationen pro Sekunde (FLOPS) im Vergleich zu NVIDIA Blackwell-GPUs.
288 GB HBM3e
Die größere Arbeitsspeicherkapazität erlaubt größere Batches und maximale Durchsatzleistung. NVIDIA Blackwell Ultra-GPUs bieten 1,5-mal mehr HBM3e-Speicher in Kombination mit zusätzlicher KI-Rechenleistung und steigern so den KI-Reasoning-Durchsatz bei besonders großen Kontextlängen.
NVIDIA Blackwell-Architektur
Die NVIDIA Blackwell-Architektur sorgt für bahnbrechende Fortschritte beim beschleunigten Computing und leitet eine neue Ära beispielloser Leistung, Effizienz und Skalierbarkeit ein.
NVIDIA ConnectX-8 SuperNIC
Das Ein-/Ausgabe-Modul (IO) der NVIDIA ConnectX-8 SuperNIC beherbergt zwei ConnectX-8-Geräte und bietet 800 Gbit/s an Netzwerkkonnektivität für jede GPU in der NVIDIA GB300 NVL72. Das ermöglicht erstklassige RDMA-Funktionen (Remote Direct Memory Access) mit entweder NVIDIA Quantum-X800 InfiniBand- oder Spectrum-X Ethernet-Netzwerkplattformen und somit eine maximale Effizienz von KI-Workloads.
NVIDIA Grace-CPU
Die NVIDIA Grace-CPU ist ein bahnbrechender Prozessor, der für moderne Workloads in Rechenzentren entwickelt wurde. Sie überzeugt durch herausragende Leistung und Speicherbandbreite mit der 2-fachen Energieeffizienz der führenden Serverprozessoren von heute.
NVIDIA NVLink der 5. Generation
Das Erschließen des vollen Potenzials von beschleunigtem Computing setzt eine nahtlose Kommunikation zwischen allen GPUs voraus. Die fünfte Generation von NVIDIA NVLink™ ist eine Scale-up-Verbindung, die beschleunigte Leistung für KI-Reasoning-Modelle ermöglicht.
NVIDIA DGX Station
Entwickeln und führen Sie hochmoderne KI lokal aus mit NVIDIA DGX Station™, unterstützt vom NVIDIA GB300 Grace Blackwell Ultra Desktop Superchip. Beschleunigen Sie groß angelegte Trainings- und Inferenz-Workloads und skalieren Sie sie einfach vom Schreibtisch bis zum Rechenzentrum.
Technische Daten
NVIDIA GB300 NVL72¹
| Konfiguration: | 72 NVIDIA Blackwell Ultra-GPUs, 36 NVIDIA Grace-CPUs |
| Bandbreite von NVLink | 130 TB/s |
| Schneller Arbeitsspeicher | Bis zu 40 TB |
| GPU-Speicher | Bandbreite | Bis zu 21 TB | Bis zu 576 TB/s |
| CPU-Speicher | Bandbreite | Bis zu 18 TB SOCAMM mit LPDDR5X | Bis zu 14,3 TB/s |
| Anzahl der CPU-Recheneinheiten | 2.592 Arm Neoverse V2-Recheneinheiten |
| FP4 Tensor-Recheneinheit | 1.400 | 1.100² PFLOPS |
| FP8/FP6 Tensor-Recheneinheit | 720 PFLOPS |
| INT8-Tensor-Recheneinheit | 23 PFLOPS |
| FP16/BF16 Tensor-Recheneinheit | 360 PFLOPS |
| TF32-Tensor-Recheneinheit | 180 PFLOPS |
| FP32 | 6 PFLOPS |
| FP64 / FP64 Tensor-Recheneinheit | 100 TFLOPS |
|
1. Alle technischen Daten für Tensor-Recheneinheiten sind, sofern nicht anders angegeben, mit Sparsity.
|
|
Ressourcen
Mehr erfahren über Grace Blackwell
-
Blogs
-
Veranstaltungen
Jetzt starten
Sichern Sie sich die NVIDIA GB300 NVL72
Kontaktieren Sie den Vertrieb, um die NVIDIA GB300 NVL72 zu erhalten.
Bleiben Sie auf dem Laufenden über NVIDIA News
Melden Sie sich an, um aktuelle Nachrichten, Updates und mehr von NVIDIA zu erhalten.