Che cosa è MLPerf?
I benchmark MLPerf™ sono progettati per fornire valutazioni imparziali sulle prestazioni di addestramento e inferenza per hardware, software e servizi. Sviluppate da MLCommons, un consorzio di leader dell'IA provenienti da università, laboratori di ricerca e vari settori industriali, queste valutazioni sono tutte condotte in condizioni prescritte. Per rimanere all’avanguardia nelle tendenze del settore, MLPerf continua a evolversi, tenendo nuovi test a intervalli regolari e aggiungendo nuovi carichi di lavoro che rappresentano lo stato dell’arte nell’IA.
Dentro i benchmark MLPerf
MLPerf Inference v6.0 misura le prestazioni di inferenza su una vasta gamma di architetture di modelli, tra cui modelli linguistici di grandi dimensioni (LLM) densi e mixture-of-expert (MoE), modelli linguistici visivi, modelli da testo a video, raccomandatori generativi e altro ancora.
MLPerf Training v6.0 misura il tempo necessario per formare i modelli a un livello di qualità specifico in vari tipi di modelli, tra cui LLM, text-to-image e sistemi di raccomandazione.
NVIDIA Blackwell Ultra offre prestazioni fino a 50 volte migliori e costi 35 volte inferiori per l'IA per agenti
Progettata per accelerare la nuova generazione di IA per agenti, NVIDIA Blackwell Ultra offre prestazioni di inferenza rivoluzionarie con costi notevolmente inferiori. I fornitori di cloud come Microsoft, CoreWeave e Oracle Cloud Infrastructure stanno distribuendo sistemi NVIDIA GB300 NVL72 su larga scala per casi d'uso a bassa latenza e con contesti estesi, come la codifica agentica e gli assistenti di codifica.
Ciò è reso possibile dalla profonda co-progettazione tra NVIDIA Blackwell, NVLink™ e NVLink Switch per la scalabilità, NVFP4 per la precisione a bassa latenza e NVIDIA Dynamo e TensorRT™ LLM per la velocità e la flessibilità, nonché dallo sviluppo con i framework della community SGLang, vLLM e molto altro ancora.
I risultati NVIDIA nel benchmark MLPerf
-
Formazione
-
Inferenza
La piattaforma NVIDIA ha eccelso nell'offrire il tempo di addestramento più rapido e le massime prestazioni per GPU nei benchmark MLPerf Training v6. In questo round, NVIDIA ha inviato risultati sia su sistemi GB200 NVL72 che su GB300 NVL72. Sulla stessa scala, GB300 NVL72 ha offerto un addestramento fino a 1,6 volte più veloce rispetto a GB200 NVL72. Questo round ha aggiunto due nuovi carichi di lavoro di pre-addestramento MoE, DeepSeek-V3 671B e GPT-OSS-20B, e NVIDIA ha stabilito record di prestazioni su entrambi. Su DeepSeek-V3 671B, NVIDIA ha scalato fino a 8.192 GPU utilizzando i sistemi GB200 NVL72, la soluzione basata su NVIDIA Blackwell su più larga scala nell'addestramento MLPerf fino ad oggi.
La piattaforma NVIDIA Blackwell alza l'asticella per le prestazioni e la scalabilità
Risultati MLPerfTraining v5.0, v5.1 e v6.0 recuperati da www.mlcommons.org il 16 giugno 2026. Risultati di scalabilità delle GPU MLPerf dalle voci 5.0-0004, 5.1-004, 6.0-0001, 6.0-0005 e 6.0-0014. Confronto dell'addestramento MLPerf Blackwell dalle seguenti voci: 6.0-0006, 6.0-0013, 6.0-0017, 6.0-0018, 6.0-0078 e 5.1-0072. Il nome e il logo MLPerf sono marchi registrati e non registrati della MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Vedi www.mlcommons.org per maggiori informazioni.
Ritmo annuale e co-progettazione estrema per la leadership sostenuta dell'addestramento
La piattaforma NVIDIA ha offerto il tempo di formazione più rapido su ogni benchmark MLPerf Training v6, con innovazioni in chip, sistemi e software che hanno consentito una leadership costante nelle prestazioni di formazione, come mostrato dai dati sulle prestazioni standard di settore e sottoposti a revisione paritaria.
Prestazioni di scala massima
| Benchmark | Tempo di formazione |
|---|---|
| DeepSeek-v3 671B | 2,02 minuti |
| GPT-OSS-20B | 7,43 minuti |
| Llama 3.1 405B | 7,07 minuti |
| Llama 2 70B LoRA | 0,40 minuti |
| Llama 3.1 8B | 4,46 minuti |
| FLUX.1 | 17,1 minuti |
| DLRM-dcnv2 | 0,67 minuti |
MLPerf™ Training v6.0 recuperato da www.mlcommons.org il 16 giugno 2026, dalle seguenti voci: 6.0-0001, 6.0-0005, 6.0-0015, 6.0-0062, 6.0-0100 e 6.0-0101. Il nome e il logo MLPerf sono marchi di MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, consulta www.mlcommons.org.
NVIDIA offre le massime prestazioni di inferenza e una versatilità senza pari
Le GPU NVIDIA Blackwell Ultra hanno alimentato i risultati presentati dalle massime prestazioni nella più ampia gamma di modelli e scenari in MLPerf Inference v6.0 e solo la piattaforma NVIDIA ha presentato risultati per ogni nuovo benchmark aggiunto. Attraverso le sole ottimizzazioni software, il throughput di GB300 NVL72 è aumentato fino a 2,7 volte in un solo round, per una netta diminuzione del costo per milione di token. Inoltre, per la prima volta, NVIDIA ha presentato risultati MLPerf Inference utilizzando 288 GPU Blackwell Ultra su quattro sistemi GB300 NVL72 interconnessi con NVIDIA Quantum-X800 InfiniBand, la scala di presentazione più grande nella storia del benchmark. Ciò ha offerto un throughput di inferenza di ragionamento record pari a 2,5 milioni di token al secondo.
MLPerf Inference v5.1 e v6.0, Closed Division. Risultati recuperati da www.mlcommons.org il 1° aprile 2026. I risultati della piattaforma NVIDIA derivano dalle seguenti voci: 5.1-0072 e 6.0-0082. Prestazioni per chip ottenute dividendo la produttività totale per il numero di chip riportati. Le prestazioni per chip non sono una metrica primaria di MLPerf Inference v5.1 o v6.0. Il nome e il logo MLPerf sono marchi registrati e non registrati della MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, consulta www.mlcommons.org.
Maggiore throughput di token e minore costo dei token grazie all'ottimizzazione software
MLPerf Inference v5.1 e v6.0, Closed Division. Risultati recuperati da www.mlcommons.org il 1° aprile 2026. I risultati della piattaforma NVIDIA derivano dalle seguenti voci: 5.1-0072, 6.0-0082. Il costo dei token non è una metrica MLPerf ufficiale. La base di riferimento è il reciproco del throughput dei token riportati e febbraio 2026 viene ricavato dividendo il reciproco del throughput dei token riportati per la base di riferimento. Il nome e il logo MLPerf sono marchi registrati e non registrati della MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, consulta www.mlcommons.org
NVIDIA GB300 NVL72 e NVIDIA Quantum-X800 InfiniBand alimentano la più grande presentazione di inferenza MLPerf di sempre
Scala record
288 GPU NVIDIA Blackwell Ultra
Massima produttività dei token
Fino a 2,5 milioni di token/secondo DeepSeek-R11
MLPerf Inference v6.0, divisione chiusa. Risultati recuperati da www.mlcommons.org il 1° aprile 2026. La piattaforma NVIDIA risulta dalle seguenti entrate: 6.0-0076. Il nome e il logo MLPerf sono marchi registrati e non registrati della MLCommons Association negli Stati Uniti e in altri paesi. Tutti i diritti riservati. L'uso non autorizzato è severamente vietato. Per ulteriori informazioni, consulta www.mlcommons.org.
1 Scenario offline
La tecnologia dietro ai risultati
La complessità dell’IA richiede una stretta integrazione di tutti gli aspetti della piattaforma. Come dimostrato dai benchmark MLPerf, la piattaforma NVIDIA AI offre prestazioni di leadership con la GPU più avanzata al mondo, tecnologie di interconnessione potenti e scalabili e software all'avanguardia, una soluzione end-to-end che può essere installata nel data center, nel cloud o sui sistemi periferici con risultati incredibili.
Software ottimizzato che accelera i flussi di lavoro IA
NVIDIA Dynamo è un framework open source distribuito di inferenza per distribuire modelli in ambienti multi-nodo su larga scala da fabbriche IA. Semplifica il servizio distribuito disaggregando l'inferenza, ottimizzando il routing ed estendendo la memoria attraverso il caching dei dati a livelli di storage convenienti.
Dynamo funziona disaggregando (separando) le fasi di pre-riempimento e decodifica dell'inferenza LLM su diverse GPU, consentendo un'ottimizzazione indipendente e un throughput più elevato. È stato presentato in modo prominente nei benchmark MLPerf Inference v5.1, dimostrando prestazioni superiori nei test di ragionamento Llama 3.1 405B Interactive e DeepSeek-R1.
Infrastruttura IA leader
Per ottenere risultati leader a livello mondiale in materia di training e inferenza è necessaria un'infrastruttura appositamente costruita per le sfide di intelligenza artificiale più complesse del mondo. La piattaforma NVIDIA AI ha offerto prestazioni leader basate sulle piattaforme NVIDIA Blackwell e Blackwell Ultra, tra cui i sistemi NVIDIA GB300 NVL72 e GB200 NVL72, NVLink e NVLink Switch e le reti scale-out NVIDIA Quantum InfiniBand e NVIDIA Spectrum-X Ethernet. Questi rappresentano il centro delle fabbriche di IA alimentate dalla piattaforma dei data center NVIDIA, il motore dietro le nostre prestazioni benchmark.
Inoltre, i sistemi NVIDIA DGX™ offrono la scalabilità, la distribuzione rapida e l'incredibile potenza di calcolo che consentono a ogni impresa di progettare un'infrastruttura IA leader di settore.
Scopri di più sulle prestazioni dei nostri prodotti per l'inferenza e l'addestramento dei data center.
LLM per il ragionamento
L'inferenza MLPerf utilizza:
DeepSeek-R1 con campioni provenienti dai set di dati AIME, MATH500, GPQA Diamond, MMLU-Pro e LiveCodeBench.
GPT-OSS-120B con campioni dai set di dati AIME 2024, LivecodeBench v6 e GPQA Diamond.
Modello linguistico visivo
MLPerf Inference utilizza il modello Qwen3-VL-235B-A22B-Instruct con il set di dati del catalogo dei prodotti Shopify.
LLM
L'inferenza MLPerf utilizza:
Llama 3.1 405B con campioni provenienti da LongBench, LongDataCollection, RULER e dal riepilogo GovReport. Llama 2 70B utilizza OpenOrca. Llama 3.1 8B utilizza CNN/DailyMail. Mixtral 8x7B con campioni provenienti da set di dati OpenOrca, GSM8K e MBXP.
MLPerf Training utilizza:
il modello linguistico generativo Llama 3.1 con 405 miliardi di parametri e una lunghezza di sequenza di 8.192 per il carico di lavoro di pre-addestramento LLM con il set di dati c4 (v3.0.1). Per il test di calibrazione LLM, utilizza il modello Llama 2 70B con il set di dati GovReport con lunghezze di sequenza di 8.192. Llama 3.1 8B utilizza anche il set di dati C4 con lunghezze di sequenza di 8.192.
Text-to-Video
MLPerf Inference utilizza Wan-2.2-T2V-A14B con il set di dati VBench.
Text-to-Image
MLPerf Training utilizza il modello da testo a immagine FLUX.1 addestrato sul set di dati CC12M con il set di dati COCO 2014 per la valutazione.
Recommender
MLPerf Inference utilizza DLRMv3 con un set di dati Synthetic Streaming da 100B.
MLPerf Training and Inference utilizza il Deep Learning Recommendation Model v2 (DLRMv2) che impiega DCNv2 cross-layer e un dataset multi-hot sintetizzato dal dataset Criteo.
Rete neurale a grafo
MLPerf Inference utilizza il set di dati eterogeneo Illinois Graph Benchmark (IGB).
MLPerf Training utilizza R-GAT con l'Illinois Graph Benchmark (IGB), set di dati eterogenei.
Speech-to-Text
MLPerf Inference utilizza Whisper-Large-V3 con il set di dati LibriSpeech.
