O que é o MLPerf?
Os benchmarks MLPerf™ são projetados para fornecer avaliações imparciais de desempenho de treinamento e inferência para hardware, software e serviços. Desenvolvidas pela MLCommons, um consórcio de líderes de IA do mundo acadêmico, laboratórios de pesquisa e setor, todas essas avaliações são conduzidas sob condições prescritas. Para se manter na vanguarda das tendências do setor, o MLPerf continua a evoluir, realizando novos testes em intervalos regulares e adicionando novas cargas de trabalho que representam o estado da arte em IA.
Por Dentro dos Benchmarks MLPerf
O MLPerf Inference v6.0 mede o desempenho de inferência em uma ampla variedade de arquiteturas de modelos, incluindo grandes modelos de linguagem (LLMs) densos e com mistura de especialistas (MoE), modelos de linguagem visual, modelos de texto para vídeo, sistemas de recomendação generativos e muito mais.
O MLPerf Training v6.0 mede o tempo para treinar modelos para um nível de qualidade especificado em vários tipos de modelos, incluindo LLMs, texto para imagem e recomendadores.
Resultados de Benchmark do NVIDIA MLPerf
-
Treinamento
-
Inferência
A plataforma NVIDIA se destacou por oferecer o tempo mais rápido de treinamento e o maior desempenho por GPU nos benchmarks MLPerf Training v6. Nesta rodada, a NVIDIA enviou resultados em sistemas GB200 NVL72 e GB300 NVL72. Na mesma escala, o GB300 NVL72 ofereceu treinamento até 1,6 vezes mais rápido do que o GB200 NVL72. Esta rodada adicionou duas novas workloads de pré-treinamento de MoE, DeepSeek-V3 671B e GPT-OSS-20B, e a NVIDIA estabeleceu recordes de desempenho em ambos. No DeepSeek-V3 671B, a NVIDIA escalou para 8.192 GPUs usando sistemas GB200 NVL72, o envio baseado em NVIDIA Blackwell em maior escala no MLPerf Training até o momento.
A Plataforma NVIDIA Blackwell eleva o nível de desempenho e escala
Resultados do MLPerfTraining v5.0, v5.1 e v6.0 recuperados de www.mlcommons.org em 16 de junho de 2026. A escala de GPU MLPerf resulta das entradas 5.0-0004, 5.1-004, 6.0-0001, 6.0-0005 e 6.0-0014. Comparação de treinamento do MLPerf Blackwell das seguintes entradas: 6.0-0006, 6.0-0013, 6.0-0017, 6.0-0018, 6.0-0078 e 5.1-0072. O nome e o logotipo da MLPerf são marcas comerciais registradas e não registradas da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. Uso não autorizado estritamente proibido. Consulte www.mlcommons.org para mais informações.
Ritmo Anual e Co-Design Extremo para Liderança de Treinamento Sustentado
A plataforma NVIDIA ofereceu o tempo mais rápido de treinamento em todos os benchmarks MLPerf Training v6, com inovações em chips, sistemas e software, permitindo a liderança de desempenho de treinamento sustentado, como mostrado em dados de desempenho padrão do setor e revisados por pares.
Máximo desempenho em escala
| Benchmark | Tempo de Treinamento |
|---|---|
| DeepSeek-v3 671B | 2,02 minutos |
| GPT-OSS-20B | 7,43 minutos |
| Llama 3.1 405B | 7,07 minutos |
| Llama 2 70B LoRA | 0,40 minuto |
| Llama 3.1 8B | 4,46 minutos |
| FLUX.1 | 17,1 minutos |
| DLRM-dcnv2 | 0,67 minuto |
MLPerf™ Training v6.0 recuperado de www.mlcommons.org em 16 de junho de 2026, a partir das seguintes entradas: 6.0-0001, 6.0-0005, 6.0-0015, 6.0-0062, 6.0-0100 e 6.0-0101. O nome e o logotipo da MLPerf são marcas comerciais da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. O uso não autorizado é estritamente proibido. Veja www.mlcommons.org para mais informações.
NVIDIA oferece o maior desempenho de inferência, versatilidade inigualável
As GPUs Blackwell Ultra dão suporte aos pedidos de mais alto desempenho em toda a variedade de modelos e cenários no MLPerf Inference v6.0, e apenas a plataforma NVIDIA funcionou em todos os benchmarks recém-adicionados. Apenas por meio de otimizações de software, a taxa de processamento do GB300 NVL72 aumentou em até 2,7x em apenas uma rodada. E, pela primeira vez, a NVIDIA enviou resultados de inferência do MLPerf usando 288 GPUs Blackwell Ultra em quatro sistemas GB300 NVL72 interconectados com o NVIDIA Quantum-X800 InfiniBand — a maior escala na história do benchmark — para oferecer uma taxa de processamento de inferência de raciocínio recorde de 2,5 milhões de tokens por segundo.
MLPerf Inference v5.1 e v6.0, Divisão Fechada. Resultados retirados de www.mlcommons.org em 1 de abril de 2026. Os resultados da plataforma NVIDIA provêm das seguintes entradas: 5.1-0072 e 6.0-0082. Desempenho por chip derivado dividindo o rendimento total pelo número de chips relatados. O desempenho por chip não é uma métrica principal do MLPerf Inference v5.1 ou v6.0. O nome e o logotipo da MLPerf são marcas comerciais registradas e não registradas da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. O uso não autorizado é estritamente proibido. Veja www.mlcommons.org para mais informações.
Mesmo GB300 NVL72, até 2,7 vezes mais desempenho apenas com software
MLPerf Inference v6.0, Divisão Fechada. Resultados retirados de www.mlcommons.org em 1 de abril de 2026. Os resultados da plataforma NVIDIA provêm das seguintes entradas: 6.0-0076. O nome e o logotipo da MLPerf são marcas comerciais registradas e não registradas da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. O uso não autorizado é estritamente proibido. Veja www.mlcommons.org para mais informações.
NVIDIA GB300 NVL72 e NVIDIA Quantum-X800 InfiniBand impulsionam a maior submissão de inferência MLPerf de todos os tempos
Escala Recorde
288 GPUs NVIDIA Blackwell Ultra
Maior taxa de transferência de tokens
Até 2,5 milhões de tokens/segundo DeepSeek-R11
MLPerf Inference v6.0, Divisão Fechada. Resultados retirados de www.mlcommons.org em 1 de abril de 2026. Os resultados da plataforma NVIDIA provêm das seguintes entradas: 6.0-0076. O nome e o logotipo da MLPerf são marcas comerciais registradas e não registradas da MLCommons Association nos Estados Unidos e em outros países. Todos os direitos reservados. O uso não autorizado é estritamente proibido. Veja www.mlcommons.org para mais informações.
1 Cenário off-line
A Tecnologia por Trás dos Resultados
A complexidade da IA exige uma integração estreita entre todos os aspectos da plataforma. Como demonstrado pelos benchmarks MLPerf, a plataforma de IA da NVIDIA entrega o máximo desempenho com a GPU mais avançada do mundo, tecnologias de interconexão potentes e dimensionáveis e software revolucionário: uma solução completa que pode ser implantada no data center, no cloud ou no edge com resultados incríveis.
Software Otimizado que Acelera Workflows de IA
O NVIDIA Dynamo é um framework de código aberto de serviço de inferência distribuída para implantar modelos em ambientes de vários nós em escala de fábricas de IA. Ela simplifica o serviço distribuído, desagregando a inferência, otimizando o roteamento e estendendo a memória por meio do cache de dados para camadas de armazenamento econômicas.
O Dynamo funciona desagregando (separando) as fases de prefill e decode da inferência de LLM em diferentes GPUs, permitindo otimização independente e taxa de processamento mais alta. Ele teve destaque nos benchmarks do MLPerf Inference v5.1, demonstrando desempenho superior nos testes de raciocínio do Llama 3.1 405B Interactive e DeepSeek-R1.
Infraestrutura Líder de IA
Alcançar resultados líderes mundiais em treinamento e inferência requer uma infraestrutura criada especificamente para os desafios de IA mais complexos do mundo. A plataforma de IA da NVIDIA ofereceu desempenho de ponta com a tecnologia das plataformas NVIDIA Blackwell e Blackwell Ultra, incluindo os sistemas NVIDIA GB300 NVL72 e GB200 NVL72, NVLink e NVLink Switch, NVIDIA Quantum InfiniBand e rede de scale-out NVIDIA Spectrum-X Ethernet. Esses estão no coração das fábricas de IA com a plataforma de Data Center da NVIDIA, o mecanismo por trás de nosso desempenho de benchmark.
Além disso, os sistemas NVIDIA DGX™ oferecem a escalabilidade, a implantação rápida e o incrível poder computacional que permitem que todas as empresas criem infraestrutura de IA de nível de liderança.
Saiba Mais sobre nosso desempenho de treinamento e inferência de Data Center.
LLMs de Raciocínio
O MLPerf Inference utiliza:
DeepSeek-R1 com amostras obtidas dos conjuntos de dados AIME, MATH500, GPQA Diamond, MMLU-Pro e LiveCodeBench.
GPT-OSS-120B com amostras dos conjuntos de dados AIME 2024, LivecodeBench v6 e GPQA Diamond.
Modelo de linguagem visual
O MLPerf Inference usa o modelo Qwen3-VL-235B-A22B-Instruct usando o conjunto de dados do Catálogo de Produtos da Shopify.
LLMs
O MLPerf Inference usa:
Llama 3.1 405B com amostras provenientes do LongBench, LongDataCollection, RULER e resumo do GovReport. O Llama 2 70B usa o OpenOrca. O Llama 3.1 8B usa o CNN/DailyMail. Mixtral 8x7B com amostras provenientes dos conjuntos de dados OpenOrca, GSM8K e MBXP.
O MLPerf Training usa o modelo de linguagem generativa Llama 3.1 com 405 bilhões de parâmetros e um comprimento de sequência de 8.192 para a carga de trabalho de pré-treinamento de LLM com o conjunto de dados c4 (v3.0.1). Para o teste de ajuste fino de LLM, ele usa o modelo Llama 2 70B com o conjunto de dados GovReport com comprimentos de sequência de 8.192. O Llama 3.1 8B também usa o conjunto de dados C4 com comprimentos de sequência de 8.192.
Texto para Vídeo
O MLPerf Inference usa o Wan-2.2-T2V-A14B com o conjunto de dados VBench.
Texto para imagem
O MLPerf Training usa o modelo de texto para imagem FLUX.1 treinado no conjunto de dados CC12M com o conjunto de dados COCO 2014 para avaliação.
Conferência
A Inferência MLPerf usa o DLRMv3 com um conjunto de dados de Streaming Sintético 100B.
O MLPerf Training and Inference usa o Modelo de Recomendação de Deep Learning v2 (DLRMv2) que emprega DCNv2 cross-layer e um conjunto de dados multi-hot sintetizado a partir do conjunto de dados Criteo.
Rede Neural Gráfica
A Inferência do MLPerf usa o conjunto de dados heterogêneo do Illinois Graph Benchmark (IGB).
O MLPerf Training usa o R-GAT com o Illinois Graph Benchmark (IGB): conjunto de dados heterogêneo.
Conversão de Fala em Texto
A MLPerf Inference usa o Whisper-Large-V3 com o conjunto de dados LibriSpeech.
