NVIDIA Quantum InfiniBand Switches und Appliances

InfiniBand ist ein leistungsstarker Verbindungsstandard, der für die Kommunikation mit geringer Latenz und hoher Bandbreite zwischen Rechenknoten entwickelt wurde. Bei KI-Trainings- und HPC-Workloads, bei denen Berechnungen auf Hunderte oder Tausende von GPUs verteilt sind, wirkt sich die Netzwerklatenz direkt auf die Auftragsabschlusszeit aus. NVIDIA Quantum InfiniBand ist außerdem die einzige Verbindungsplattform mit In-Network-Computing-Unterstützung, durch die kollektive Operationen wie AllReduce in die Switch-Fabric selbst verlagert werden, wodurch GPU-Zyklen für die tatsächliche Berechnung frei werden.

Herkömmliche Switch-Designs nutzen steckbare optische Transceiver, um den Switch-ASIC mit Glasfaser zu verbinden. Jeder Transceiver ist eine diskrete Komponente, die Energie verbraucht, Wärme erzeugt und ausfallen kann. Im Cluster-Maßstab bedeutet dies, dass während der gesamten Lebensdauer der Bereitstellung Tausende einzelner Transceiver verwaltet und ersetzt werden müssen.

Der NVIDIA Quantum-X InfiniBand Photonics-Switch integriert optische Engines direkt in den Switch-Chip und macht so steckbare Transceiver vollständig überflüssig. Dies verkürzt den elektrischen Weg zwischen Chip und Glasfaser und senkt so den Energieverbrauch und die Latenz, während weniger diskrete Komponenten die Zuverlässigkeit verbessern und den langfristigen Betrieb vereinfachen.

In-Network-Computing ist die Fähigkeit von NVIDIA Quantum-Switches, Datenverarbeitungsoperationen innerhalb der Netzwerkstruktur auszuführen, ohne dass Host-CPUs oder -GPUs erforderlich sind. Die wichtigste Funktion ist NVIDIA SHARP, die kollektive Vorgänge wie AllReduce direkt auf die Switches verlagert. Für das verteilte KI-Training reduziert dies den Zeitaufwand für die Kommunikation zwischen den Knoten und setzt GPU-Zyklen für die Berechnung frei. SHARP beschleunigt die kollektiven Vorgänge im Kern der meisten parallelen Simulationscodes und reduziert so Latenz und CPU-Overhead. Anwendungen, die NCCL, OpenMPI, UCX oder andere standardkonforme MPI-Stacks nutzen, profitieren von minimalen Codeänderungen, wodurch In-Network Computing für verschiedene Bereiche vom KI-Training über Molekulardynamik bis hin zur Klimamodellierung relevant wird.

Für neue KI-Bereitstellungen in großem Maßstab ist NVIDIA Quantum-X800 InfiniBand die beste Wahl. Es bietet 800 Gbit/s XDR-Konnektivität und ist für KI-Fabriken der nächsten Generation konzipiert, die maximale Scale-out-Bandbreite, geringe Latenz, adaptives Routing, Überlastungssteuerung und SHARP-In-Netzwerk-Computing für KI- und HPC-Kollektive benötigen. Quantum-2 NDR 400 Gbit/s bleibt eine starke Option für Bereitstellungen der Hopper-Generation oder kostenoptimierte Bereitstellungen, aber für neue Blackwell-Skalierungs-Cluster bietet Quantum-X800 den besten langfristigen Performance-Runway. Die Q3200 ist die luftgekühlte Switch-Plattform Quantum-X800 2U und ist gut für große oder generationenübergreifende Umgebungen geeignet, die eine hohe Port-Dichte und einen praktischen Migrationspfad benötigen.

NVIDIA Unified Fabric Manager (UFM) ist die Fabric-Management-Plattform für NVIDIA Quantum InfiniBand-Bereitstellungen. UFM (als integrierte Appliance sowie als eigenständige Software angeboten) übernimmt die Bereitstellung, Echtzeit-Überwachung, Diagnose und proaktive Fehlerbehebung in der gesamten Fabric. NVIDIA UFM Cyber-AI ist eine dedizierte Appliance zur Erkennung von anomalem Netzwerkverhalten, das auf Sicherheitsbedrohungen oder Hardwareprobleme hinweisen kann, bevor sich diese auf Aufträge auswirken.

Dies ist eine gängige Überlegung für Unternehmen, die bestehende Cluster erweitern oder in Phasen ausbauen. Im Allgemeinen ist NVIDIA Quantum InfiniBand auf Aufwärtskompatibilität ausgelegt: Adapter und Switches, die mit verschiedenen InfiniBand-Generationen arbeiten, handeln automatisch die entsprechende gemeinsame Geschwindigkeit aus. Für Bereitstellungen, in denen Quantum-X800 (XDR, 800 Gb/s) und Quantum-2 (NDR, 400 Gb/s) Umgebungen miteinander verbunden werden müssen, empfiehlt NVIDIA den Q3200, einen Multi-Speed-Switch, der speziell zur Überbrückung dieser beiden Generationen entwickelt wurde. Spezifische Designüberlegungen in Bezug auf Topologie, Port-Zuordnung und Fabric-Konfiguration mit dem Q3200 werden in der NVIDIA InfiniBand-Switch-Dokumentation behandelt.

Ja. Die NVIDIA Skyway-Appliance wurde speziell für diesen Anwendungsfall entwickelt und bietet ein InfiniBand-to-Ethernet-Gateway. Skyway ermöglicht es InfiniBand-Rechenclustern, mit Ethernet-verbundenen Datenspeichersystemen, Verwaltungsnetzwerken oder anderen Ethernet-Infrastrukturen zu kommunizieren, ohne dass Änderungen an beiden Umgebungen erforderlich sind. Bei wachsenden Bandbreitenanforderungen über Fabrics hinweg können mehrere Skyway-Appliances bereitgestellt und sukzessive skaliert werden.