Switch e appliance NVIDIA Quantum InfiniBand

InfiniBand è uno standard di interconnessione ad alte prestazioni progettato per la comunicazione a bassa latenza e ad alta larghezza di banda tra i nodi di calcolo. Per l'addestramento IA e i carichi di lavoro HPC che distribuiscono il calcolo su centinaia o migliaia di GPU, la latenza di rete influisce direttamente sul tempo di completamento del lavoro. NVIDIA Quantum InfiniBand è anche l'unica piattaforma di interconnessione con supporto del calcolo all'interno della rete, che scarica operazioni collettive come AllReduce sullo switch fabric stesso, liberando i cicli delle GPU per il calcolo effettivo.

I design degli switch convenzionali utilizzano ricetrasmettitori ottici estraibili per connettere l'ASIC dello switch alla fibra. Ogni ricetrasmettitore è un componente discreto che consuma energia, genera calore e può guastarsi. Su scala cluster, ciò significa migliaia di singoli ricetrasmettitori da gestire e sostituire durante il ciclo di vita della distribuzione.

Lo switch NVIDIA Quantum-X InfiniBand Photonics integra i motori ottici direttamente con il silicio dello switch, eliminando completamente i ricetrasmettitori pluggabili. Ciò accorcia il percorso elettrico tra chip e fibra, riducendo il consumo energetico e la latenza, mentre un numero inferiore di componenti discreti migliora l'affidabilità e semplifica le operazioni a lungo termine.

Il calcolo in rete è la capacità degli switch NVIDIA Quantum di eseguire operazioni di elaborazione dei dati all'interno del fabric di rete, senza coinvolgere le CPU o le GPU host. La capacità chiave è NVIDIA SHARP, che scarica operazioni collettive come AllReduce direttamente sugli switch. Per l'addestramento IA distribuito, ciò riduce il tempo speso per la comunicazione inter-nodo e libera i cicli GPU per il calcolo. SHARP accelera le operazioni collettive al centro della maggior parte dei codici di simulazione paralleli, riducendo la latenza e il sovraccarico della CPU. Le applicazioni che sfruttano NCCL, OpenMPI, UCX o altri stack MPI conformi agli standard beneficiano di modifiche minime al codice, rendendo il calcolo in rete rilevante in tutti i domini, dall'addestramento IA alla dinamica molecolare e alla modellazione climatica.

Per le nuove distribuzioni IA su larga scala, la scelta migliore è NVIDIA Quantum-X800 InfiniBand. Offre connettività XDR da 800Gb/s ed è progettata per le fabbriche IA di nuova generazione che hanno bisogno della massima larghezza di banda scale-out, bassa latenza, routing adattivo, controllo della congestione e calcolo SHARP in rete per i collettivi IA e HPC. Quantum-2 NDR 400Gb/s rimane un'opzione valida per le distribuzioni di generazione Hopper o ottimizzate per i costi, ma per i nuovi cluster su scala Blackwell, Quantum-X800 fornisce il miglior margine di crescita delle prestazioni a lungo termine. Il Q3200 è la piattaforma di switch Quantum-X800 2U raffreddata ad aria ed è adatto per gli ambienti di grandi dimensioni o a generazione mista che richiedono un'alta densità di porte e un percorso di migrazione pratico.

NVIDIA Unified Fabric Manager (UFM) è la piattaforma di gestione fabric per le distribuzioni di NVIDIA Quantum InfiniBand. UFM (offerto come appliance integrata e software autonomo) gestisce il provisioning, il monitoraggio in tempo reale, la diagnostica e la risoluzione dei problemi proattiva nel fabric. NVIDIA UFM Cyber-AI è un'appliance dedicata per il rilevamento di comportamenti anomali di rete che potrebbero indicare minacce alla sicurezza o problemi hardware prima che abbiano un impatto sui lavori.

Questa è una considerazione comune per le organizzazioni che espandono i cluster esistenti o che li creano in fasi. In generale, NVIDIA Quantum InfiniBand è progettato per la compatibilità futura: gli adattatori e gli switch che operano su diverse generazioni di InfiniBand negozieranno automaticamente alla velocità comune appropriata. Per le distribuzioni che devono connettere gli ambienti Quantum-X800 (XDR, 800 Gb/s) e Quantum-2 (NDR, 400 Gb/s), NVIDIA consiglia il Q3200, uno switch multi-velocità progettato appositamente per collegare queste due generazioni. Le considerazioni specifiche di progettazione su topologia, mappatura delle porte e configurazione del fabric che utilizza il Q3200 sono coperte nella documentazione dello switch NVIDIA InfiniBand.

Sì. L'appliance NVIDIA Skyway è progettata specificamente per questo caso d'uso, fornendo un gateway InfiniBand-to-Ethernet. Skyway consente ai cluster di calcolo InfiniBand di comunicare con sistemi di storage connessi a Ethernet, reti di gestione o altre infrastrutture Ethernet senza richiedere modifiche a entrambi gli ambienti. Più appliance Skyway possono essere distribuite e scalate in modo incrementale con la crescita delle esigenze di larghezza di banda cross-fabric.