NVIDIA GH200 Grace Hopper Superchip

Durch die Zusammenführung der Arm®-basierten Grace-CPU- und Hopper-GPU-Architekturen unter Verwendung von NVLink-C2C beschleunigen NVIDIA GH200 Superchips wissenschaftliche Forschung und Entdeckungen auf Supercomputern weltweit. In Kombination liefern Supercomputer mit NVIDIA Grace Hopper Superchips eine energieeffiziente KI-Verarbeitungsleistung von 200 Exaflops oder 200 Trillionen Berechnungen pro Sekunde.

Die jüngsten Fortschritte bei der Speicher- und Netzwerkbandbreite sowie das Ende des Mooreschen Gesetzes haben die Engpässe bei Analysen und Abfragen auf die CPUs verlagert. Mit GH200 teilen sich CPU und GPU eine einzige Seitentabelle pro Prozess, die es allen CPU- und GPU-Threads ermöglicht, auf den gesamten vom System zugewiesenen Speicher zuzugreifen, der sich im physischen CPU- oder GPU-Speicher befinden kann. Mit GH200 muss der Speicher nicht mehr zwischen CPU und GPU hin und her kopiert werden, wodurch die Datenverarbeitung um das bis zu 36-Fache beschleunigt wird.

Retrieval-Augmented Generation (RAG) verbindet große Sprachmodelle (LLMs) mit Wissensdatenbanken, um die Modellgenauigkeit zu verbessern. RAG erfordert die Generierung von Einbettungen und die Durchführung von Vektorsuchen in großem Maßstab. Die 72 energieeffizienten Arm-basierten Grace-CPU-Kerne beschleunigen die Vorverarbeitung der Wissensdatenbankdaten, und NVLink-C2C beschleunigt die Übertragung der vorverarbeiteten Daten an den Hopper-GPU im Vergleich zu PCIe um das 7-Fache, was zu einer 30-fachen Beschleunigung des Prozesses zur Generierung der Einbettung führt.

Neuronale Graphen-Netzwerke (GNNs) werden in einer Vielzahl von Anwendungen eingesetzt, z. B. bei der Analyse sozialer Netzwerke, der Entdeckung von Medikamenten, der Erkennung von Betrug und der Molekularchemie. GH200 nutzt die Vorteile von bis zu 624 GB kombiniertem CPU- und GPU-Schnellspeicher, 4 petaFLOPS der H200-GPU und 900 GB/s NVLink-C2C, um das GNN-Training im Vergleich zur H100-PCIe-GPU um das bis zu 8-Fache zu beschleunigen.