Qu'est-ce que MLPerf ?
Les benchmarks MLPerf™ sont conçus pour fournir des évaluations impartiales des performances d'entraînement et d'inférence pour le matériel, les logiciels et les services. Développées par MLCommons, un consortium de leaders de l'IA issus du monde académique, des laboratoires de recherche et de l'industrie, ces évaluations sont toutes menées selon des conditions prédéfinies. MLPerf évolue de manière continue en réalisant de nouveaux tests à intervalles réguliers et en intégrant de nouvelles charges de travail qui suivent les dernières évolutions de l'IA pour rester à la pointe des dernières tendances du secteur.
Sous le capot des benchmarks MLPerf
MLPerf Inference v6.0 mesure les performances d'inférence sur une grande variété d'architectures de modèles, notamment les grands modèles de langage (LLM) denses et MoE (Mixture of Expert), les modèles de langage de vision, les modèles de texte vers la vidéo, les systèmes de recommandation génératifs et bien plus encore.
MLPerf Training v6.0 mesure le temps nécessaire à l'entraînement de modèles pour atteindre un niveau de qualité spécifique sur divers types de modèles, notamment les LLM, les systèmes de conversion de texte à l'image et les systèmes de recommandation.
NVIDIA Blackwell Ultra offre des performances jusqu'à 50 fois supérieures et des coûts 35 fois inférieurs pour l'IA agentique
Conçu pour accélérer la nouvelle génération d'IA agentique, NVIDIA Blackwell Ultra offre des performances d'inférence révolutionnaires à des coûts considérablement réduits. Les fournisseurs Cloud tels que Microsoft, CoreWeave et Oracle Cloud Infrastructure déploient des systèmes NVIDIA GB300 NVL72 à grande échelle pour des cas d'utilisation à faible latence et à long contexte, tels que le codage agentique et les assistants de codage.
Cette initiative de mise à niveau axée sur l'excellence permet la co-conception approfondie sur NVIDIA Blackwell, NVLink™ et NVLink Switch pour l’évolutivité, NVFP4 pour la précision, NVIDIA Dynamo et les LLM TensorRT™ pour la vitesse et la flexibilité, ainsi que le développement avec les frameworks communautaires SGLang, vLLM et bien plus encore.
Résultats de NVIDIA sur les benchmarks MLPerf
-
Formation
-
Inférence
La plateforme NVIDIA s’est distinguée en offrant le temps d’entraînement le plus rapide ainsi que les meilleures performances par GPU dans les benchmarks MLPerf Training v6. Dans le cadre de cette phase de test, NVIDIA a soumis les résultats des deux systèmes GB200 NVL72 et GB300 NVL72. À la même échelle, GB300 NVL72 a permis un entraînement jusqu'à 1,6 fois plus rapide que GB200 NVL72. Cette phase a permis d'ajouter deux nouvelles charges de travail de pré-entraînement MoE, à savoir DeepSeek-V3 671B et GPT-OSS-20B, NVIDIA ayant établi des records de performance pour les deux. Sur DeepSeek-V3 671B, NVIDIA est passée à 8 192 GPU à l'aide des systèmes GB200 NVL72, ce qui constitue à ce jour la plus importante soumission basée sur NVIDIA Blackwell dans le cadre de MLPerf Training.
La plateforme NVIDIA Blackwell place la barre plus haut en matière de performances et d'évolutivité
Résultats des tests MLPerfTraining v5.0, v5.1 et v6.0 récupérés sur www.mlcommons.org le 16 juin 2026. Résultats à l'échelle des GPU MLPerf pour les modèles 5.0-0004, 5.1-004, 6.0-0001, 6.0-0005 et 6.0-0014. Comparaison des entraînements MLPerf Blackwell à partir des entrées suivantes : 6.0-0006, 6.0-0013, 6.0-0017, 6.0-0018, 6.0-0078 et 5.1-0072. Le nom et le logo de MLPerf sont des marques déposées et non déposées de MLCommons Association aux États-Unis et dans d’autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Rendez-vous sur www.mlcommons.org pour en savoir plus.
Rythme annuel et conception collaborative avancée pour un leadership soutenu de l'entraînement
La plateforme de NVIDIA a fourni le temps d'entraînement le plus rapide sur chaque benchmark MLPerf Training v6, avec des innovations au niveau des puces, des systèmes et des logiciels, qui lui ont permis de conserver son leadership en matière de performances d'entraînement, comme le montrent les données de performances standardisées et examinées par les pairs.
Performances d'échelle maximale
| Benchmark | Durée d’entraînement |
|---|---|
| DeepSeek-v3 671B | 2,02 minutes |
| GPT-OSS-20B | 7,43 minutes |
| Llama 3.1 405B | 7,07 minutes |
| Llama 2 70B LoRA | 0,40 minute |
| Llama 3.1 8B | 4,46 minutes |
| FLUX.1 | 17,1 minutes |
| DLRM-DCNv2 | 0,67 minute |
MLPerf™ Training v6.0 a été extrait sur www.mlcommons.org le 16 juin 2026 à partir des entrées suivantes : 6.0-0001, 6.0-0005, 6.0-0015, 6.0-0062, 6.0-0100 et 6.0-0101. Le nom et le logo MLPerf sont des marques commerciales de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Rendez-vous sur www.mlcommons.org pour en savoir plus.
NVIDIA offre des performances d'inférence maximales et une polyvalence inégalée
Les GPU NVIDIA Blackwell Ultra ont propulsé les soumissions les plus performantes sur la gamme la plus large de modèles et de scénarios dans MLPerf Inference v6.0, et seule la plateforme NVIDIA a soumis des résultats pour chaque nouveau benchmark ajouté. Grâce aux seules optimisations logicielles, le débit du GB300 NVL72 a été multiplié par 2,7 en un seul cycle, réduisant drastiquement le coût par million de jetons. Pour la première fois, NVIDIA a soumis des résultats d'inférence MLPerf à l'aide de 288 GPU Blackwell Ultra sur quatre systèmes GB300 NVL72 interconnectés avec NVIDIA Quantum-X800 InfiniBand, la plus grande échelle de soumission dans l'histoire de ce benchmark. Cela a permis d'obtenir un débit record d'inférence de raisonnement de 2,5 millions de jetons par seconde.
Inférence MLPerf v5.1 et v6.0, division fermée. Résultats récupérés sur www.mlcommons.org le 1er avril 2026. Les résultats de la plateforme NVIDIA proviennent des entrées suivantes : 5.1-0072 et 6.0-0082. Performances par puce dérivées en divisant le débit total par le nombre de puces déclarées. Les performances par puce ne sont pas une métrique principale de l'inférence MLPerf v5.1 ou v6.0. Le nom et le logo de MLPerf sont des marques déposées et non déposées de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Rendez-vous sur www.mlcommons.org pour en savoir plus.
Débit de jetons plus élevé et coût de jetons plus faible grâce à l'optimisation logicielle
Inférence MLPerf v5.1 et v6.0, division fermée. Résultats récupérés sur www.mlcommons.org le 1er avril 2026. Les résultats de la plateforme NVIDIA proviennent des entrées suivantes : 5.1-0072, 6.0-0082. Le coût des jetons n'est pas une métrique officielle de MLPerf. La référence est l'inverse du débit de jetons rapporté, et la valeur pour février 2026 est obtenue en divisant l'inverse du débit de jetons rapporté par la référence. Le nom et le logo de MLPerf sont des marques déposées et non déposées de MLCommons Association aux États-Unis et dans d’autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Rendez-vous sur www.mlcommons.org pour en savoir plus
NVIDIA GB300 NVL72 et NVIDIA Quantum-X800 InfiniBand alimentent la plus grande soumission d'inférence MLPerf jamais réalisée
Échelle record
288 GPU NVIDIA Blackwell Ultra
Débit de jetons le plus élevé
Jusqu'à 2,5 millions de jetons/seconde DeepSeek-R11
Inférence MLPerf v6.0, division fermée. Résultats récupérés sur www.mlcommons.org le 1er avril 2026. Résultats de la plateforme NVIDIA issus des entrées suivantes : 6.0-0076. Le nom et le logo de MLPerf sont des marques déposées et non déposées de MLCommons Association aux États-Unis et dans d'autres pays. Tous droits réservés. Utilisation non autorisée strictement interdite. Rendez-vous sur www.mlcommons.org pour en savoir plus.
1 scénario hors ligne
La technologie à l’œuvre derrière les résultats
La complexité grandissante des nouvelles demandes de l’IA requiert une intégration étroite entre tous les aspects de la plate-forme. Comme nous l’avons démontré avec les résultats de benchmark de MLPerf, la plate-forme d’IA de NVIDIA offre des performances record avec le GPU le plus avancé au monde, des technologies d’interconnexion puissantes et évolutives ainsi que des logiciels de pointe, qui forment une solution avancée de bout en bout aux résultats exceptionnels pouvant être déployée dans le Data Center, dans le Cloud ou sur l’Edge.
Environnement logiciel optimisé pour accélérer les workflows d'IA
NVIDIA Dynamo est un framework de service d'inférence distribué open source dédié au déploiement des modèles dans des environnements multi-nœuds à l'échelle d'une usine d'IA. Il rationalise le traitement distribué en désagrégant l'inférence, en optimisant le routage et en étendant la mémoire via la mise en cache des données vers des couches de stockage rentables.
Dynamo fonctionne en désagrégant (séparant) les phases de pré-remplissage et de décodage de l'inférence LLM sur différents GPU, ce qui permet une optimisation indépendante et un débit plus élevé. Il a été mis en évidence dans les benchmarks d'inférence MLPerf v5.1, démontrant des performances supérieures dans les tests de raisonnement Llama 3.1 405B Interactive et DeepSeek-R1.
Une infrastructure d'IA de premier ordre
L’obtention de résultats probants pour l’entraînement et l’inférence requiert une infrastructure spécifiquement conçue pour répondre aux défis les plus complexes au monde en matière d’IA. La plateforme d'IA de NVIDIA a offert des performances de pointe alimentées par les plateformes NVIDIA Blackwell et Blackwell Ultra, notamment les systèmes de mise en réseau évolutifs NVIDIA GB300 NVL72 et GB200 NVL72, NVLink et NVLink Switch, NVIDIA Quantum InfiniBand et NVIDIA Spectrum-X Ethernet. Celles-ci sont au cœur des usines d'IA alimentées par la plate-forme de Data Center de NVIDIA, moteur de nos performances de benchmark.
Les systèmes NVIDIA DGX™ offrent une évolutivité élevée, un déploiement rapide et une puissance de calcul exceptionnelle qui permettent à toutes les entreprises de concevoir des infrastructures d’IA à la pointe de la technologie.
En savoir plus sur nos performances d'entrainement et d'inférence de Data Center.
LLM de raisonnement
L'inférence MLPerf utilise :
DeepSeek-R1 avec des échantillons provenant des jeux de données AIME, MATH500, GPQA Diamond, MMLU-Pro et LiveCodeBench.
GPT-OSS-120B avec des échantillons issus des jeux de données AIME 2024, LivecodeBench v6 et GPQA Diamond.
Modèle de langage de vision
MLPerf Inference utilise le modèle Qwen3-VL-235B-A22B-Instruct avec le jeu de données du catalogue de produits Shopify.
les LLM
L'inférence MLPerf utilise :
Llama 3.1 405B avec des échantillons provenant de LongBench, LongDataCollection, RULER et des résumés GovReport. Llama 2 70B utilise OpenOrca. Llama 3.1 8B utilise CNN/DailyMail. Mixtral 8x7B avec des échantillons provenant des jeux de données OpenOrca, GSM8K et MBXP.
MLPerf Training utilise
le modèle de langage génératif Llama 3.1 avec 405 milliards de paramètres et une longueur de séquence de 8 192 pour la charge de travail de pré-entraînement des LLM avec le jeu de données c4 (v3.0.1). Pour le test d'affinage LLM, le modèle Llama 2 70B avec le jeu de données GovReport avec des longueurs de séquence de 8 192. Llama 3.1 8B utilise également le jeu de données C4 avec des longueurs de séquence de 8 192.
Conversion de texte en vidéo
L'inférence MLPerf utilise Wan-2.2-T2V-A14B avec le jeu de données VBench.
Texte à image
MLPerf Training utilise le modèle de texte-à-image FLUX.1 entraîné sur le jeu de données CC12M et évalué avec le jeu de données COCO 2014.
Système de recommandation
L'Inférence MLPerf utilise DLRMv3 avec le jeu de données Synthetic Streaming 100B.
MLPerf Training et Inference utilisent DLRMv2 (Deep Learning Recommendation Model v2), qui exploite DCNv2 multi-couches ainsi qu'un jeu de données multi-hôtes synthétisé à partir du jeu de données Criteo.
Réseau neuronal graphique
L'inférence de MLPerf utilise le jeu de données hétérogène Illinois Graph Benchmark (IGB).
MLPerf Training utilise R-GAT avec le jeu de données hétérogènes Illinois Graph Benchmark (IGB).
Synthèse vocale
L'inférence de MLPerf utilise Whisper-Large-V3 avec le jeu de données LibriSpeech.
