Conmutadores y dispositivos NVIDIA Quantum InfiniBand

InfiniBand es un estándar de interconexión de alto desempeño diseñado para la comunicación de baja latencia y alto ancho de banda entre nodos de computación. Para las cargas de trabajo de entrenamiento de IA y HPC que distribuyen la computación en cientos o miles de GPU, la latencia de la red afecta directamente el tiempo de finalización de trabajos. NVIDIA Quantum InfiniBand también es la única plataforma de interconexión con compatibilidad con la Computación en Red, que descarga operaciones colectivas como AllReduce a la propia estructura de switches, lo que libera ciclos de GPU para la computación real.

Los diseños de switches convencionales usan transceptores ópticos enchufables para conectar el ASIC del switch a la fibra. Cada transceptor es un componente discreto que consume energía, genera calor y puede fallar. A escala de clúster, esto significa miles de transceptores individuales para administrar y reemplazar durante la vida útil de la implementación.

El switch NVIDIA Quantum-X InfiniBand Photonics integra motores ópticos directamente con el silicio del switch, lo que elimina los transceptores conectables por completo. Esto acorta la ruta eléctrica entre el chip y la fibra, lo que reduce el consumo de energía y la latencia, mientras que un número menor de componentes discretos mejoran la confiabilidad y simplifican las operaciones a largo plazo.

La Computación en Red es la capacidad de los switches NVIDIA Quantum para ejecutar operaciones de procesamiento de datos dentro de la estructura de la red, sin involucrar las CPU o las GPU de host. La capacidad clave es NVIDIA SHARP, que descarga operaciones colectivas como AllReduce directamente en los switches. Para el entrenamiento de IA distribuida, esto reduce el tiempo dedicado a la comunicación entre nodos y libera ciclos de GPU para la computación. SHARP acelera las operaciones colectivas en el centro de la mayoría de los códigos de simulación paralelos, lo que reduce la latencia y la sobrecarga de CPU. Las aplicaciones que aprovechan NCCL, OpenMPI, UCX u otras pilas de MPI compatibles con los estándares se benefician con cambios de código mínimos, lo que hace que la Computación en Red sea relevante en todos los dominios, desde el entrenamiento de IA hasta la dinámica molecular y el modelado climático.

Para nuevas implementaciones de IA a gran escala, la mejor opción es NVIDIA Quantum-X800 InfiniBand. Ofrece una conectividad XDR de 800 Gb/s y está diseñado para fábricas de IA de última generación que necesitan un ancho de banda máximo escalable, baja latencia, enrutamiento adaptativo, control de congestión y computación en red de SHARP para colectivos de IA y HPC. Quantum-2 NDR de 400 Gb/s sigue siendo una opción sólida para implementaciones de generación Hopper u optimizadas en cuanto a costos, pero para nuevos clústeres a escala de Blackwell, Quantum-X800 proporciona la mejor vía de desempeño a largo plazo. Q3200 es la plataforma de switches Quantum-X800 de 2U refrigerada por aire y es muy adecuada para entornos grandes o de generación mixta que necesitan una alta densidad de puertos y una ruta de migración práctica.

NVIDIA Unified Fabric Manager (UFM) es la plataforma de administración de estructuras para las implementaciones de NVIDIA Quantum InfiniBand. UFM (ofrecido como un dispositivo integrado y como software independiente) maneja el aprovisionamiento, el monitoreo en tiempo real, el diagnóstico y la resolución de problemas proactiva en toda la estructura. NVIDIA UFM Cyber-AI es un dispositivo dedicado para detectar el comportamiento anómalo de la red que podría indicar amenazas de seguridad o problemas de hardware antes de que afecten los trabajos.

Esta es una consideración común para las organizaciones que expanden clústeres existentes o desarrollan en fases. En general, NVIDIA Quantum InfiniBand está diseñado para la compatibilidad con el futuro: los adaptadores y los switches que operan en diferentes generaciones de InfiniBand negociarán automáticamente a la velocidad común apropiada. Para las implementaciones que necesitan conectar entornos Quantum-X800 (XDR, 800 Gb/s) y Quantum-2 (NDR, 400 Gb/s), NVIDIA recomienda Q3200, un switch de múltiples velocidades diseñado específicamente para unir estas dos generaciones. Las consideraciones de diseño específicas en torno a la topología, el mapeo de puertos y la configuración de estructura que utiliza Q3200 están cubiertas en la documentación de los switches NVIDIA InfiniBand.

Sí. El dispositivo NVIDIA Skyway™ está diseñado específicamente para este caso de uso, lo que proporciona un gateway de InfiniBand a Ethernet. Skyway permite a los clústeres de computación InfiniBand comunicarse con sistemas de almacenamiento conectados a Ethernet, redes de administración u otra infraestructura de Ethernet sin requerir cambios en ninguno de los entornos. Se pueden implementar múltiples dispositivos Skyway y escalarlos de forma incremental a medida que crecen las demandas de ancho de banda entre estructuras.