MLPerf — это консорциум лидеров в области ИИ из университетов, научных лабораторий и компаний. Миссия проекта заключается в «создании честных и полезных бенчмарков», которые обеспечивают объективную оценку производительности программного и аппаратного обеспечения и сервисов в задачах обучения и инференса в соответствии с заданными условиями. Чтобы идти в ногу с тенденциями в отрасли, MLPerf продолжает развиваться, регулярно проводя новые тесты и добавляя сценарии, отражающие современное состояние ИИ.
MLPerf Training v2.0 — это шестой бенчмарк для обучения, который состоит из восьми разных тестов для множества сценариев, в том числе для задач зрения, обработки языка, рекомендательных систем и обучения с подкреплением.
MLPerf Inference v2.0 позволяет протестировать семь сценариев для семи разных типов нейросетей: три сценария для компьютерного зрения, один — для рекомендательных систем, два — для обработки языка и один — для медицинской визуализации.
Присвоение входному изображению метки из определенного набора категорий; используется для задач компьютерного зрения. Подробнее.
Поиск на изображениях и видео экземпляров реальных объектов, таких как лица, велосипеды и здания, и выделение контуров для каждого. Подробнее.
Поиск различных объектов на изображении и создание для них пиксельной маски. Подробнее.
Объемная сегментация массивных 3D-изображений для медицинских сценариев использования. Подробнее.
Распознавание и расшифровка аудио в реальном времени. Подробнее.
Распознавание текста путем установления связи между словами в фрагменте текста. Применяется для ответов на вопросы, перефразирования предложений и других задач, связанных с языком. Подробнее.
Предоставляют персонализированные результаты в пользовательских сервисах, таких как социальные сети или онлайн-магазины, при помощи выводов о взаимодействии пользователя с элементами сервиса, например товарами или рекламой. Подробнее.
Оценивает различные возможные действия, чтобы получить максимальное вознаграждение в стратегической игре Го на сетке 19x19. Подробнее.
GPU NVIDIA A100 с тензорными ядрами и NVIDIA DGX SuperPOD™ продемонстрировали самую высокую производительность во всех тестах MLPerf как для отдельного чипа, так и для общей работы систем. Рекордная производительность достигается благодаря интеграции программно-аппаратного обеспечения и системных технологий. Постоянные инвестиции NVIDIA во весь стек позволяли повышать производительность в каждом последующем тесте MLPerf. Платформа NVIDIA не имеет себе равных по общей производительности и универсальности, предоставляя единую платформу для обучения и инференса, которая доступна везде — от дата-центра до периферийных устройств и облака.
Инновации всего стека NVIDIA обеспечивают стабильный прирост производительности
Результаты нормализованы по пропускной способности из-за более высоких требований к точности в последнем цикле MLPerf Training 2.0.
Сравнение MLPerf ID 0.5/0.7/2.0:
BERT: 0.7-56/0.7-38/2.0-2106 | ResNet50v1.5: 0.5-17/0.7-55/0.7-37/2.0-2107 | Mask R-CNN: 0.5-22/0.7-48/0.7-28/2.0-2099
Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org .
Для коммерчески доступных решений
Платформа ИИ NVIDIA показала лучшую производительность в тестах MLPerf и стала единственной платформой, которая прошла все тесты бенчмарков. Это демонстрирует производительность и универсальность всего стека платформы ИИ NVIDIA для всех задач ИИ.
| БЕНЧМАРК | Вся система (мин.) | Отдельный ускоритель (мин.) |
|---|---|---|
| Рекомендательные системы (DLRM) | 0,59 (DGX SuperPOD) | 12,78 (A100) |
| Обработка естественного языка (BERT) | 0,21 (DGX SuperPOD) | 126,95 (A100) |
| Распознавание речи — рекуррентная нейросеть (RNN-T) | 2,15 (DGX SuperPOD) | 230,07 (A100) |
| Сложное распознавание объектов (Mask R-CNN) | 3,09 (DGX SuperPOD) | 327,34 (A100) |
| Простое распознавание объектов (RetinaNet) | 4,25 (DGX SuperPOD) | 675,18 (A100) |
| Классификация изображений (ResNet-50 v1.5) | 0,32 (DGX SuperPOD) | 217,82 (A100) |
| Сегментация изображения (3D U-Net) | 1,22 (DGX SuperPOD) | 170,23 (A100) |
| Обучение с подкреплением (MiniGo) | 16,23 (DGX SuperPOD) | 2045,4 (A100) |
Производительность отдельного ускорителя A100 рассчитывается умножением времени обучения одного узла от партнера NVIDIA на количество чипов | Для отдельных чипов по возможности сравнивается производительность аналогичных решений.
Максимальное время обучения системы: DLRM: 2.0-2098 | BERT: 2.0-2106 | Mask R-CNN: 2.0-2099 | ResNet-50 v1.5: 2.0-2107 | RetinaNet: 2.0-2103 | RNN-T: 2.0-2104 | 3D U-Net: 2.0-2100 | MiniGo: 2.0-2105
Время обучения отдельного ускорителя: DLRM: 2.0-2068 | BERT: 2.0-2070 | Mask R-CNN: 2.0-207 | ResNet-50 v1.5: 2.0-2069 | RetinaNet: 2.0-2091 | RNN-T: 2.0-2066 | 3D U-Net: 2.0-2060 | MiniGo: 2.0-2105
Название и логотип MLPerf являются товарными знаками. Подробную информацию можно найти на сайте www.mlperf.org.
NVIDIA достигла максимальных результатов во всех сценариях (сервер дата-центра, дата-центр офлайн, однопоточные периферийные устройства, многопоточные периферийные устройства и периферийные устройства офлайн). Также компания продемонстрировала высочайшую производительность отдельного ускорителя для всех продуктов во всех тестах бенчмарка. Эти результаты свидетельствуют не только о лидерстве NVIDIA по производительности инференса, но и об универсальности платформы.
| NVIDIA A100 (процессор x86) (Инференс/с) |
NVIDIA A100 (процессор Arm) (Инференс/с) |
NVIDIA A30 (Инференс/с) |
NVIDIA® Jetson AGX Orin™ (Макс. число инференсов/запрос) |
|
|---|---|---|---|---|
| DLRM (Рекомендательные системы) |
312 380 | 281 283 | 138 194 | -* |
| BERT (Обработка естественного языка) |
3490 | 3149 | 1668 | 476 |
| ResNet-50 v1.5 (Классификация изображений) |
39 190 | 36 487 | 18 406 | 6139 |
| ResNet-34 (Большая нейросеть Single-Shot Detector) |
990 | 906 | 478 | 208 |
| RNN-T (Распознавание речи) |
13 344 | 13 188 | 6 557 | 1110 |
| 3D U-Net (Медицинская визуализация) |
3 | 3 | 2 | 0,5 |
*DLRM не входит в категорию периферийных устройств.
1) Результаты инференса в MLPerf v2.0 для форм-факторов серверов дата-центра и сценария офлайн взяты с сайта www.mlperf.org (данные Inf-2.0-094, Inf-2.0-077 и Inf-2.0-090 за 6 апреля 2022 года). Производительность отдельного процессора рассчитана как деление первого показателя общей производительности на число ускорителей.
2) Результаты инференса MLPerf v1.0 для периферийных устройств и сценария офлайн взяты с сайта www.mlperf.org (данные 2.0-140 за 6 апреля 2022 года). Производительность отдельного процессора рассчитана как деление первого показателя общей производительности на число ускорителей.
Сложность ИИ требует тесной интеграции всех аспектов платформы. Как демонстрируют результаты бенчмарков MLPerf, платформа NVIDIA для ИИ обеспечивает рекордную производительность благодаря самому передовому GPU в мире, мощным и масштабируемым технологиям межсоединения и инновационному программному обеспечению — комплексному решению, которое можно развернуть в дата-центре, облаке или на периферийных устройствах и достичь отличных результатов.
Являясь важнейшей составляющей платформ NVIDIA и результатов тестов MLPerf в задачах обучения и инференса, каталог NGC™ представляет собой реестр оптимизированного под GPU ПО для ИИ, высокопроизводительных вычислений (HPC) и анализа данных, который упрощает и ускоряет рабочие процессы. NGC содержит более 150 контейнеров корпоративного класса, в том числе задачи для разговорного ИИ и рекомендательных систем, сотни моделей ИИ и отраслевые SDK, которые можно развернуть на локальных системах, в облаке или на периферийных устройствах. Это позволяет специалистам по data science, ученым и разработчикам создавать лучшие в своем классе решения, получать результаты и достигать коммерческих успехов быстрее, чем когда-либо прежде.
Достижение мировых рекордов в задачах обучения и инференса требует специально разработанной инфраструктуры для самых сложных задач ИИ. Платформа NVIDIA для ИИ использует возможности GPU NVIDIA A100 с тензорными ядрами, GPU NVIDIA A30 с тензорными ядрами, GPU NVIDIA A2 с тензорными ядрами, модуля Jetson AGX Orin и масштабируемость и гибкость технологий межсоединений NVIDIA NVLink®, NVIDIA NVSwitch™ и NVIDIA ConnectX®-6 VPI. Они лежат в основе системы NVIDIA DGX™ A100, обеспечившей рекорд производительности в бенчмарке.
Системы NVIDIA DGX™ обеспечивают масштабируемость, быстрое развертывание и невероятную вычислительную мощность, что позволяет компаниям создавать передовую инфраструктуру ИИ.
Узнайте больше о производительности в задачах обучения и инференса.
