¿Qué es MLPerf?
Los análisis de referencia de MLPerf™ están diseñados para proporcionar evaluaciones imparciales del desempeño de entrenamiento e inferencia para hardware, software y servicios. Estas evaluaciones, desarrolladas por MLCommons, un consorcio de líderes de IA de la academia, laboratorios de investigación y la industria, se realizan bajo condiciones prescritas. Para mantenerse a la vanguardia de las tendencias de la industria, MLPerf continúa evolucionando, realiza nuevas pruebas a intervalos regulares y agrega nuevas cargas de trabajo que representan el estado de la cuestión en IA.
Dentro de los Análisis de Referencia de MLPerf
MLPerf Inference v6.0 mide el desempeño de inferencia en una amplia variedad de arquitecturas de modelos, incluidos los grandes modelos de lenguaje (LLM) densos y de combinación de expertos (MoE), los modelos de lenguaje visual, los modelos de texto a video, los recomendadores generativos y más.
MLPerf Training v6.0 mide el tiempo para entrenar modelos a un nivel de calidad especificado en varios tipos de modelos, incluidos los LLM, la conversión de texto a imagen y los recomendadores.
Resultados de NVIDIA en los Análisis de Referencia MLPerf
-
Capacitación
-
Inferencia
La plataforma NVIDIA se destacó en ofrecer el tiempo más rápido para entrenar y el más alto desempeño por GPU en los análisis de referencia de MLPerf Training v6. En esta ronda, NVIDIA envió resultados sobre sistemas GB200 NVL72 y GB300 NVL72. A la misma escala, GB300 NVL72 ofreció un entrenamiento hasta 1.6 veces más rápido que GB200 NVL72. Esta ronda agregó dos nuevas cargas de trabajo de preentrenamiento de MoE, DeepSeek-V3 671B y GPT-OSS-20B, y NVIDIA estableció récords de desempeño en ambas. En DeepSeek-V3 671B, NVIDIA escaló a 8,192 GPU mediante sistemas GB200 NVL72, el envío basado en NVIDIA Blackwell a mayor escala en MLPerf Training hasta la fecha.
La Plataforma NVIDIA Blackwell Eleva el Estándar para el Desempeño y la Escala
Resultados de MLPerfTraining v5.0, v5.1 y v6.0 se recuperaron de www.mlcommons.org el 16 de junio de 2026. Resultados de escalado de GPU de MLPerf de las entradas 5.0-0004, 5.1-004, 6.0-0001, 6.0-0005 y 6.0-0014. Comparación de entrenamiento de MLPerf Blackwell de las siguientes entradas: 6.0-0006, 6.0-0013, 6.0-0017, 6.0-0018, 6.0-0078 y 5.1-0072. El nombre y el logotipo MLPerf son marcas comerciales registradas y no registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Visite www.mlcommons.org para obtener más información.
Ritmo Anual y Codiseño Extremo para un Liderazgo en Entrenamiento Sostenido
La plataforma NVIDIA ofreció el tiempo más rápido para entrenar en cada análisis de referencia de MLPerf Training v6, con innovaciones en chips, sistemas y software que permiten un liderazgo sostenido en desempeño de entrenamiento, como se muestra en datos de desempeño estándar de la industria y revisados por pares.
Desempeño a Máxima Escala
| Benchmark | Tiempo de Entrenamiento |
|---|---|
| DeepSeek-v3 671B | 2.02 minutos |
| GPT-OSS-20B | 7.43 minutos |
| Llama 3.1 405B | 7.07 minutos |
| Llama 2 70B LoRA | 0.40 minutos |
| Llama 3.1 8B | 4.46 minutos |
| FLUX.1 | 17.1 minutos |
| DLRM-dcnv2 | 0.67 minutos |
MLPerf™ Training v6.0 se recuperó de www.mlcommons.org el 16 de junio de 2026, de las siguientes entradas: 6.0-0001, 6.0-0005, 6.0-0015, 6.0-0062, 6.0-0100 y 6.0-0101. El nombre y el logotipo de MLPerf son marcas comerciales de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.
NVIDIA ofrece el más alto desempeño de inferencia y una versatilidad incomparable
Las GPU Blackwell Ultra impulsaron los envíos de mayor desempeño en la gama más amplia de modelos y escenarios en MLPerf Inference v6.0, y solo la plataforma de NVIDIA realizó envíos en cada análisis de referencia recientemente agregado. Solo a través de las optimizaciones de software, el rendimiento de GB300 NVL72 aumentó hasta 2.7 veces en solo una ronda. Y, por primera vez, NVIDIA presentó los resultados de MLPerf Inference utilizando 288 GPU Blackwell Ultra en cuatro sistemas GB300 NVL72 interconectados con NVIDIA Quantum-X800 InfiniBand, la escala de envío más grande en la historia del análisis de referencia, ofreciendo un rendimiento de inferencia de razonamiento récord de 2.5 millones de tokens por segundo.
MLPerf Inference v5.1 y v6.0, División Cerrada. Resultados tomados de www.mlcommons.org el 1 de abril de 2026. Resultados de la plataforma de NVIDIA de las siguientes entradas: 5.1-0072 y 6.0-0082. El desempeño por chip se obtiene dividiendo el rendimiento total por el número de chips informados. El desempeño por chip no es una métrica principal de MLPerf Inference v5.1 o v6.0. El nombre y el logotipo MLPerf son marcas comerciales registradas y no registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.
Mismo GB300 NVL72, Hasta 2.7 Veces Más Desempeño Solo a Partir de Software
MLPerf Inference v6.0, División Cerrada. Resultados tomados de www.mlcommons.org el 1 de abril de 2026. Resultados de la plataforma de NVIDIA de las siguientes entradas: 6.0-0076. El nombre y el logotipo MLPerf son marcas comerciales registradas y no registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.
NVIDIA GB300 NVL72 y NVIDIA Quantum-X800 InfiniBand Impulsan el Envío de Inferencia de MLPerf Más Grande
Escala de Registro
288 GPU NVIDIA Blackwell Ultra
Rendimiento de Tokens más Alto
Hasta 2.5 millones de tokens/segundo DeepSeek-R11
MLPerf Inference v6.0, División Cerrada. Resultados tomados de www.mlcommons.org el 1 de abril de 2026. Resultados de la plataforma de NVIDIA de las siguientes entradas: 6.0-0076. El nombre y el logotipo MLPerf son marcas comerciales registradas y no registradas de MLCommons Association en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Consulte www.mlcommons.org para obtener más información.
1 Escenario sin conexión
La Tecnología Detrás de los Resultados
La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como quedó demostrado en los análisis de referencia MLPerf, la plataforma de IA de NVIDIA ofrece un desempeño líder con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables y software de vanguardia. Por lo tanto, es una solución integral que se puede implementar en el centro de datos, en la nube o en el perímetro de la red con resultados increíbles.
Software optimizado que acelera los flujos de trabajo de IA
NVIDIA Dynamo es un framework distribuido de servicio de inferencia de código abierto para implementar modelos en entornos de múltiples nodos a escala de fábrica de IA. Optimiza el servicio distribuido al desagregar la inferencia, mejorando así el enrutamiento y extendiendo la memoria a través del almacenamiento en caché de datos a niveles de almacenamiento rentables.
Dynamo trabaja desagregando (separando) las fases de precargado y decodificación de la inferencia de LLM en diferentes GPU, lo que permite una optimización independiente y un mayor rendimiento. Se presentó de forma destacada en los análisis de referencia de MLPerf Inference v5.1, lo que demuestra un desempeño superior en las pruebas de razonamiento Llama 3.1 405B Interactive y DeepSeek-R1.
Infraestructura de IA Líder
Lograr resultados de primer nivel en entrenamiento e inferencia requiere una infraestructura diseñada específicamente para los desafíos de IA más complejos del mundo. La plataforma de IA de NVIDIA ofreció un desempeño líder impulsado por las plataformas NVIDIA Blackwell y Blackwell Ultra, incluidos los sistemas NVIDIA GB300 NVL72 y GB200 NVL72, NVLink y NVLink Switch, redes escalables NVIDIA Quantum InfiniBand y NVIDIA Spectrum-X Ethernet. Estos son el corazón de las fábricas de IA impulsadas por la plataforma de centros de datos de NVIDIA, el motor detrás de nuestro desempeño de referencia.
Además, los sistemas NVIDIA DGX™ ofrecen la escalabilidad, la implementación rápida y la increíble potencia de computación que permiten a todas las empresas desarrollar una infraestructura de IA de primer nivel.
Más información sobre el desempeño en inferencia y el entrenamiento de nuestros centros de datos.
LLM de Razonamiento
MLPerf Inference usa:
DeepSeek-R1 con muestras de los conjuntos de datos AIME, MATH500, GPQA Diamond, MMLU-Pro y LiveCodeBench.
GPT-OSS-120B con muestras de los conjuntos de datos de AIME 2024, LivecodeBench v6 y GPQA Diamond.
Modelo de Lenguaje de Visión
MLPerf Inference usa el modelo Qwen3-VL-235B-A22B-Instruct mediante el conjunto de datos del Catálogo de Productos de Shopify.
LLM
MLPerf Inference usa:
Llama 3.1 405B con muestras tomadas del resumen de LongBench, LongDataCollection, RULER y GovReport. Llama 2 70B usa OpenOrca. Llama 3.1 8B usa CNN/DailyMail. Mixtral 8x7B con muestras procedentes de los conjuntos de datos OpenOrca, GSM8K y MBXP.
MLPerf Training usa el modelo de lenguaje generativo Llama 3.1 con 405 mil millones de parámetros y una longitud de secuencia de 8192 para la carga de trabajo de preentrenamiento de LLM con el conjunto de datos c4 (v3.0.1). Para la prueba de ajuste fino de LLM, usa el modelo Llama 2 70B con el conjunto de datos GovReport, con longitudes de secuencia de 8,192. Llama 3.1 8B también usa el conjunto de datos C4 con longitudes de secuencia de 8,192.
Texto a Video
MLPerf Inference usa Wan-2.2-T2V-A14B con el conjunto de datos VBench.
Texto a Imagen
MLPerf Training usa el modelo de texto a imagen FLUX.1 entrenado en el conjunto de datos CC12M con el conjunto de datos COCO 2014 para evaluación.
RECOMENDADOR
MLPerf Inference usa DLRMv3 con un conjunto de datos de streaming sintético de 100B.
MLPerf Training e Inference utilizan el Modelo de recomendación de aprendizaje profundo v2 (DLRMv2) que emplea DCNv2 de capas transversales y un conjunto de datos multi-hot sintetizado a partir del conjunto de datos Criteo.
Red Neuronal Gráfica
MLPerf Inference usa el conjunto de datos heterogéneo de Illinois Graph Benchmark (IGB).
MLPerf Training usa R-GAT con el conjunto de datos Illinois Graph Benchmark (IGB) - Heterogéneo.
Voz a Texto
MLPerf Inference usa Whisper-Large-V3 con el conjunto de datos LibriSpeech.
