Services Cloud
Lambda maximise la performance par watt grâce à NVIDIA DSX MaxLPS
Objectif
À mesure que les charges de travail d'IA augmentent et que la demande en calcul dépasse l'infrastructure disponible, les budgets d'alimentation fixes se sont révélés comme un obstacle critique, limitant le débit et la performance par watt.
Pour maximiser l'efficacité énergétique, Lambda s'appuie sur la plateforme des usines d'IA NVIDIA DSX™ (NVIDIA DSX), qui unifie la conception, la simulation et les opérations pour une efficacité maximale. En tant que l'un des premiers fournisseurs de services Cloud à utiliser NVIDIA DSX MaxLPS™, un composant clé de NVIDIA DSX, sur les serveurs GPU NVIDIA HGX B200, Lambda améliore les performances et l'efficacité des clusters.
Principaux enseignements
+24 % de débit des jetons à l'échelle du cluster
- En utilisant NVIDIA DSX MaxLPS, Lambda a exécuté 19 nœuds au lieu de 16 dans le même budget énergétique, augmentant le débit des jetons à l'échelle du cluster de 24 % et la capacité des GPU de 19 %.
+23 % de performance par watt
- NVIDIA DSX MaxLPS a augmenté le débit par watt à l'échelle du cluster de 23 %, tout en respectant le même budget d'alimentation.
+20 % de débit d'inférence hybride
- Grâce à NVIDIA DSX MaxLPS, Lambda a pu ajouter deux nœuds d'inférence dans le même budget énergétique, augmentant le débit de 20 % dans les configurations d'inférence et d'entraînement simultanées.
+17 % de débit de formation hybride
- Grâce à NVIDIA DSX MaxLPS, Lambda a pu ajouter deux nœuds d'entraînement dans le même budget énergétique, augmentant le débit du cluster d'entraînement hybride de 17 %.
La puissance est la contrainte limitante des usines d'IA
Lambda a été fondée en 2012 par des ingénieurs en apprentissage automatique ayant publié des travaux de recherche, qui ont commencé par créer des applications d'IA et ont constaté que l'évolutivité était bloquée par l'infrastructure. En 2018, Lambda est devenue l'un des premiers fournisseurs de Cloud IA à déployer le calcul accéléré NVIDIA dans le Cloud. Aujourd’hui, Lambda compte plus de dix mille clients, allant des universités aux laboratoires d’IA en passant par les équipes d’IA des entreprises et les hyperscalers. Son parc d’infrastructures IA NVIDIA comprend les plateformes NVIDIA Ampere, NVIDIA Hopper™, NVIDIA Blackwell et NVIDIA Vera Rubin.
Le déploiement et la gestion de clusters à grande échelle pour un large éventail de clients constituent le cœur de l'activité de Lambda et sa plus grande difficulté opérationnelle. Les usines d'IA sont conçues spécifiquement pour fabriquer de l'intelligence, où chaque kilowatt compte pour délivrer des jetons par seconde. À l'échelle de la production, les budgets d'énergie des installations sont fixes. Les systèmes de calcul accéléré NVIDIA sont conçus pour exécuter les charges de travail d'IA les plus intensives avec un débit maximal par watt. Lorsque la demande dépasse la capacité de calcul, la question ne porte plus sur l'acquisition de matériel, mais sur le contrôle opérationnel : combien de nœuds peuvent fonctionner efficacement dans le cadre du budget d'alimentation défini ?
Le coût par jeton est défini par une fraction simple : le coût d'infrastructure par heure de GPU divisé par les jetons livrés. La puissance bloquée et les configurations statiques réduisent ce dénominateur. Sans modulation de puissance en temps réel, les opérateurs de Cloud sont confrontés à un choix difficile : fournir des ressources de manière conservatrice pour absorber la demande maximale et laisser la capacité inutilisée, ou ajouter plus de nœuds et risquer une instabilité lorsque les charges de travail augmentent.
Les clouds spécialisés tels que Lambda ont besoin d'un mécanisme permettant de surveiller et d'allouer dynamiquement l'énergie au niveau du rack, en mettant plus de nœuds en ligne dans un budget énergétique existant sans sacrifier la fiabilité ni le débit.
Le DSX MaxLPS est conçu pour maximiser les performances de calcul dans un budget d'énergie fixe. Les résultats de Lambda démontrent son impact immédiat : MaxLPS a permis à 19 nœuds de fonctionner dans le budget énergétique d’un modèle de base de 16 nœuds, augmentant le débit des jetons du cluster d’environ 24 % et la performance par watt de 23 %.
Lambda a validé DSX MaxLPS dans un cluster de cinq racks et 19 nœuds constitué de systèmes HGX B200, en utilisant des charges de travail d'inférence et d'entraînement MLPerf pour générer une consommation électrique stable au niveau du pic et des résultats reproductibles comparables à ceux de l'industrie.
- Dynamic Power Software (DPS) surveille en temps réel la consommation du GPU et au niveau du rack, réallouant l'énergie là où elle est nécessaire pour maximiser le débit de jetons dans des budgets fixes.
- Les contrôles de puissance configurables par politique permettent aux opérateurs de définir des cibles de consommation par nœud sans modifier les charges de travail en cours ; Lambda a testé 80 % et 85 % de la consommation maximale, ce qui permet de réduire la consommation par nœud suffisamment pour mettre en ligne des nœuds supplémentaires dans le même budget d'installation.
- Les tableaux de bord d'observabilité de la puissance offrent aux opérateurs une visibilité sur la consommation au niveau du rack, une fonctionnalité affinée grâce aux retours d'expérience de production de Lambda.
Débit d'inférence (tokens/s) : GPT-OSS-120B, 40 QPS par nœud
Plus de performances, même budget d'alimentation
Les résultats ont démontré que DSX MaxLPS augmente de manière significative le débit des jetons dans une enveloppe de puissance fixe et que les gains s'accumulent lorsque les charges de travail mixtes créent une marge naturelle pour le partage dynamique de la puissance. En intercalant les profils de puissance intermittents des charges de travail d'entraînement avec la demande plus stable des inférences, cette approche récupère la capacité qui resterait autrement bloquée dans des clusters provisionnés de manière statique.
Pour l'inférence pure, les résultats sont directs :
- Référence (16 nœuds, aucune politique) : ~4,04 M de jetons/s
- Politique DSX MaxLPS à 85 % (19 nœuds) : ~5 M de jetons/s, soit une augmentation de 24 % des performances en matière de jetons du cluster
Les résultats des charges de travail simultanées révèlent une dynamique tout aussi importante. Les usines d'IA de production exécutent rarement un seul type de charge de travail : l'entraînement et l'inférence fonctionnent côte à côte, chacune avec des profils d'alimentation différents. Dans le cadre de DSX MaxLPS, cette hétérogénéité devient un atout d'efficacité. L'entraînement consomme de la puissance par pics ; l'inférence comble les lacunes. Le DSX MaxLPS alloue dynamiquement la puissance sur le mix, libérant ainsi une capacité inutilisée par les configurations statiques. Avec la stratégie à 80 %, qui exécute 10 nœuds d'inférence et 10 nœuds d'entraînement simultanément, le débit du cluster d'entraînement a augmenté de 17 % et celui du cluster d'inférence de 20 %. Les charges de travail mixtes soulignent le potentiel d'optimisation de la capacité du DSX MaxLPS, bien que la mise en production nécessite un réglage attentif pour équilibrer les gains de débit avec les exigences en matière de latence et de stabilité.
Au-delà du débit, la collaboration de Lambda avec les équipes d'ingénierie de NVIDIA a contribué à améliorer l'ergonomie et à proposer des contrôles configurables pour la modulation du courant, qui seront disponibles dans DSX MaxLPS.
L’adoption de Lambda établit un modèle pour la prochaine génération d’usines d’IA : maximiser la performance par watt – et non la fourniture brute de matériel – est le levier clé pour améliorer l’économie des usines d’IA et réduire les coûts en jetons.
Avec notre preuve de concept, nous pensons être sortis des limites des budgets d’énergie fixes. Le NVIDIA DSX MaxLPS ouvre la voie à la récupération de la capacité bloquée et à sa conversion en utilisation réelle, avec une densité de calcul significativement plus élevée dans la même surface. C’est un plan évolutif et durable qui montre comment nous pouvons exploiter et développer notre infrastructure à l’avenir.»
Dave Ward
, président des services Cloud chez Lambda
Extension de DSX MaxLPS à l'infrastructure de prochaine génération
À mesure que la collaboration se poursuit, Lambda pourrait être bien placée pour déployer DSX MaxLPS dans son vaste parc de serveurs diversifié lorsque les plans et les calendriers seront plus clairs, offrant aux clients une capacité de jeton par rack plus importante, un contrôle plus précis de l'allocation d'énergie et un modèle d'exploitation durable des usines d'IA que le reste de l'industrie peut suivre.
Découvrez comment NVIDIA DSX MaxLPS permet d'obtenir une meilleure performance par watt.