¿Qué es MLPerf?
Las pruebas de referencia de MLPerf™ están diseñadas para proporcionar evaluaciones imparciales del rendimiento de entrenamiento e inferencia para hardware, software y servicios. Estas evaluaciones, desarrolladas por MLCommons, un consorcio de líderes en IA del ámbito académico, laboratorios de investigación y el sector, se realizan en condiciones predefinidas. Para mantenerse a la vanguardia de las tendencias del sector, MLPerf está en constante evolución, realizando nuevas pruebas a intervalos regulares y agregando nuevas cargas de trabajo que representan la IA más avanzada.
Dentro de las pruebas de referencia de MLPerf
MLPerf Inference v6.0 mide el rendimiento de inferencia en una amplia variedad de arquitecturas de modelos, como modelos de lenguaje de gran tamaño (LLM) densos y con mezcla de expertos (MoE), modelos de lenguaje de visión, modelos de texto a vídeo, recomendadores generativos y mucho más.
MLPerf Training v6.0 mide el tiempo necesario para entrenar modelos para alcanzar un nivel de calidad especificado en varios tipos de modelos, incluidos LLM, de texto a imagen y recomendadores.
NVIDIA Blackwell Ultra ofrece un rendimiento hasta 50 veces mejor y un coste 35 veces menor para la IA de agentes
Diseñada para acelerar la próxima generación de IA de agentes, NVIDIA Blackwell Ultra ofrece un rendimiento de inferencia sin precedentes con un coste drásticamente inferior. Algunos proveedores de la nube, como Microsoft, CoreWeave y Oracle Cloud Infrastructure, están implementando sistemas NVIDIA GB300 NVL72 a escala para casos de uso de baja latencia y contexto largo, como codificación agentiva y asistentes de codificación.
Esto es posible gracias al diseño conjunto profundo en NVIDIA Blackwell, NVLink™ y NVLink Switch para escalar, NVFP4 para una exactitud de baja precisión, y NVIDIA Dynamo y TensorRT™ LLM para obtener velocidad y flexibilidad, así como el desarrollo con los entornos de trabajo de la comunidad SGLang, vLLM y otros.
Resultados de las pruebas de referencia de MLPerf de NVIDIA
-
Formación
-
Inferencia
La plataforma de NVIDIA destacó por su rendimiento al ofrecer el tiempo de entrenamiento más rápido y el mayor rendimiento por GPU en las pruebas de referencia de MLPerf Training v6. En esta ronda, NVIDIA presentó resultados en los sistemas GB200 NVL72 y GB300 NVL72. Con la misma escala, GB300 NVL72 proporcionó un entrenamiento hasta 1,6 veces más rápido que GB200 NVL72. Esta ronda añadió dos nuevas cargas de trabajo de preentrenamiento MoE, DeepSeek-V3 671B y GPT-OSS-20B, y NVIDIA batió récords de rendimiento en ambas. En DeepSeek-V3 671B, NVIDIA escaló a 8192 GPU utilizando sistemas GB200 NVL72, el envío a mayor escala basado en NVIDIA Blackwell en MLPerf Training hasta la fecha.
La plataforma NVIDIA Blackwell eleva el listón en cuanto a rendimiento y escalabilidad
Los resultados de MLPerfTraining v5.0, v5.1 y v6.0 se obtuvieron de www.mlcommons.org el 16 de junio de 2026. Los resultados de escalado de GPU de MLPerf se basan en las entradas 5.0-0004, 5.1-004, 6.0-0001, 6.0-0005 y 6.0-0014. Comparación del entrenamiento de MLPerf Blackwell a partir de las siguientes entradas: 6.0-0006, 6.0-0013, 6.0-0017, 6.0-0018, 6.0-0078 y 5.1-0072. El nombre y el logotipo de MLPerf son marcas registradas y no registradas de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. Uso no autorizado estrictamente prohibido. Si desea obtener más información, consulte www.mlcommons.org.
Co-diseño extremo y ritmo anual para el liderazgo en el entrenamiento sostenido.
La plataforma NVIDIA presento el tiempo de entrenamiento más rápido en todas las pruebas de referencia de MLPerf Training v6, con innovaciones en chips, sistemas y software que permiten el liderazgo constante en el rendimiento de entrenamiento, como muestran los datos de rendimiento estándar del sector revisados por pares.
Rendimiento de máxima escala
| Prueba de referencia | Hora de entrenamiento |
|---|---|
| DeepSeek-v3 671B | 2,02 minutos |
| GPT-OSS-20B | 7,43 minutos |
| Llama 3.1 405B | 7,07 minutos |
| Llama 2 70B LoRA | 0,40 minutos |
| Llama 3.1 8B | 4,46 minutos |
| FLUX.1 | 17,1 minutos |
| DLRM-DCNv2 | 0,67 minutos |
MLPerf™ Training v6.0 se recuperó de www.mlcommons.org el 16 de junio de 2026 de las siguientes entradas: 6.0-0001, 6.0-0005, 6.0-0015, 6.0-0062, 6.0-0100 y 6.0-0101. El nombre y el logotipo de MLPerf son marcas comerciales de MLCommons Association en Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Para obtener más información, consulte www.mlcommons.org.
NVIDIA ofrece el máximo rendimiento de inferencia y una versatilidad inigualable
Las GPU NVIDIA Blackwell Ultra impulsaron las propuestas de mayor rendimiento en la gama más amplia de modelos y escenarios en MLPerf Inference v6.0. Además, la plataforma de NVIDIA fue la única que participó con propuestas para cada prueba de referencia recién añadida. Solo a través de optimizaciones de software, el rendimiento de GB300 NVL72 aumentó hasta 2,7 veces en una sola ronda, reduciendo drásticamente el coste por millón de tokens. Asimismo, por primera vez, NVIDIA presentó resultados de MLPerf Inference utilizando 288 GPU Blackwell Ultra en cuatro sistemas GB300 NVL72 interconectados con NVIDIA Quantum-X800 InfiniBand, el mayor volumen de participación en la historia de las pruebas de referencia. Esto ha permitido obtener un rendimiento récord de inferencia de razonamiento de 2,5 millones de tokens por segundo.
Inferencia de MLPerf v5.1 y v6.0, división cerrada. Resultados obtenidos de www.mlcommons.org el 1 de abril de 2026. Resultados de la plataforma de NVIDIA de las siguientes entradas: 5.1-0072 y 6.0-0082. Rendimiento por chip obtenido al dividir el rendimiento total por el número de chips notificados. El rendimiento por chip no es una métrica principal de MLPerf Inference v5.1 o v6.0. El nombre y el logotipo de MLPerf son marcas registradas y no registradas de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Para obtener más información, consulte www.mlcommons.org.
Mayor rendimiento de tokens y menor coste de tokens gracias a la optimización de software
Inferencia de MLPerf v5.1 y v6.0, división cerrada. Resultados obtenidos de www.mlcommons.org el 1 de abril de 2026. Resultados de la plataforma de NVIDIA de las siguientes entradas: 5.1-0072 y 6.0-0082. El coste de los tokens no es una métrica oficial de MLPerf. El valor de referencia es el recíproco del rendimiento de tokens notificado, y febrero de 2026 se obtiene dividiendo ese recíproco del rendimiento de tokens notificado por el valor de referencia. El nombre y el logotipo de MLPerf son marcas registradas y no registradas de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Si desea obtener más información, consulte www.mlcommons.org
NVIDIA GB300 NVL72 y NVIDIA Quantum-X800 InfiniBand impulsan el envío de inferencia de MLPerf más grande de la historia
Registro de escala
288 GPU NVIDIA Blackwell Ultra
Rendimiento de tokens más alto
Hasta 2,5 millones de tokens/segundo DeepSeek-R11
MLPerf Inference v6.0, división cerrada. Resultados obtenidos de www.mlcommons.org el 1 de abril de 2026. Los resultados de la plataforma NVIDIA de las siguientes entradas: 6.0-0076. El nombre y el logotipo de MLPerf son marcas registradas y no registradas de la asociación MLCommons en los Estados Unidos y otros países. Todos los derechos reservados. El uso no autorizado está estrictamente prohibido. Para obtener más información, consulte www.mlcommons.org.
1 Escenario sin conexión
La tecnología detrás de los resultados
La complejidad de la IA exige una estrecha integración entre todos los aspectos de la plataforma. Como se ha demostrado en las pruebas de referencia de MLPerf, la plataforma de IA de NVIDIA ofrece un rendimiento de liderazgo con la GPU más avanzada del mundo, tecnologías de interconexión potentes y escalables y software de vanguardia: una solución integral que se puede implementar en el centro de datos, en la nube o en el perímetro con resultados increíbles.
Software optimizado que acelera los flujos de trabajo de IA
NVIDIA Dynamo es un marco de servicio de inferencia distribuida de código abierto para implementar modelos en entornos de varios nodos a escala de fábrica de IA. Agiliza el servicio distribuido al desagregar la inferencia, optimizar el enrutamiento y ampliar la memoria mediante el almacenamiento en caché de datos a niveles de almacenamiento rentables.
Dynamo funciona al desagregar (separar) las fases de prellenado y descodificación de la inferencia de LLM en diferentes GPU, lo que permite una optimización independiente y un mayor rendimiento. Se ha presentado de forma destacada en las pruebas de referencia de MLPerf Inference v5.1, lo que demuestra un rendimiento superior en las pruebas de razonamiento de Llama 3.1 405B Interactive y DeepSeek-R1.
Infraestructura de IA de nivel de liderazgo
Para lograr resultados de primera línea en formación e inferencia, se requiere una infraestructura diseñada específicamente para los desafíos de IA más complejos del mundo. La plataforma de IA de NVIDIA ofreció un rendimiento líder impulsado por las plataformas NVIDIA Blackwell y Blackwell Ultra, incluidos los sistemas NVIDIA GB300 NVL72 y GB200 NVL72, NVLink y NVLink Switch, NVIDIA Quantum InfiniBand y las redes de escalado vertical NVIDIA Spectrum-X Ethernet. Estos se encuentran en el corazón de las fábricas de IA impulsadas por la plataforma de centros de datos de NVIDIA, el motor detrás de nuestro rendimiento de referencia.
Además, los sistemas NVIDIA DGX™ ofrecen la escalabilidad, la rápida implementación y una increíble capacidad de cálculo que permite a todas las empresas crear infraestructuras de IA de nivel de liderazgo.
Obtenga más información sobre el rendimiento de inferencia y de entrenamiento de nuestro centro de datos.
LLM de razonamiento
La inferencia de MLPerf utiliza:
DeepSeek-R1 con muestras procedentes de los conjuntos de datos AIME, MATH500, GPQA Diamond, MMLU-Pro y LiveCodeBench.
GPT-OSS-120B con muestras de los conjuntos de datos de AIME 2024, LivecodeBench v6 y GPQA Diamond.
Modelo de lenguaje de visión
MLPerf Inference utiliza el modelo Qwen3-VL-235B-A22B-Instruct con el conjunto de datos del catálogo de productos de Shopify.
LLM
La inferencia de MLPerf utiliza:
Llama 3.1 405B con muestras obtenidas de LongBench, LongDataCollection, RULER y resumen de GovReport. Llama 2 70B utiliza OpenOrca. Llama 3.1 8B utiliza CNN/DailyMail. Mixtral 8x7B con muestras procedentes de conjuntos de datos de OpenOrca, GSM8K y MBXP.
MLPerf Training utiliza:
el modelo de lenguaje generativo Llama 3.1 con 405 000 millones de parámetros y una longitud de secuencia de 8192 para la carga de trabajo de preentrenamiento de LLM con el conjunto de datos c4 (v3.0.1). Para la prueba de ajuste preciso de LLM, utiliza el modelo Llama 2 70B con el conjunto de datos GovReport con longitudes de secuencia de 8.192. Llama 3.1 8B también utiliza el conjunto de datos C4 con longitudes de secuencia de 8192.
Texto a vídeo
MLPerf Inference utiliza Wan-2.2-T2V-A14B con el conjunto de datos de VBench.
Texto a imagen
MLPerf Training utiliza el modelo de texto a imagen FLUX.1 entrenado en el conjunto de datos CC12M con el conjunto de datos COCO 2014 para Eval.
Recomendaciones
MLPerf Inference utiliza DLRMv3 con un conjunto de datos de Synthetic Streaming 100B.
MLPerf Training and Inference utiliza el modelo de recomendación v2 (DLRMv2) de Deep Learning que emplea DCNv2 multinivel y un conjunto de datos multi-hot sintetizado a partir del conjunto de datos de Criteo.
Red neuronal gráfica
MLPerf Inference utiliza el conjunto de datos heterogéneo de Illinois Graph Benchmark (IGB).
MLPerf Training utiliza R-GAT con el conjunto de datos Illinois Graph Benchmark (IGB): conjunto de datos heterogéneos.
Voz a texto
MLPerf Inference utiliza Whisper-Large-V3 con el conjunto de datos de LibriSpeech.
