Servizi cloud
Lambda massimizza le prestazioni per watt con NVIDIA DSX MaxLPS
Obiettivo
A seguito dell'aumento dei carichi di lavoro IA e del superamento della domanda di calcolo sull'infrastruttura disponibile, i budget energetici fissi si stanno rivelando un vero collo di bottiglia, limitando sia il throughput, sia le prestazioni per watt.
Per massimizzare l'efficienza energetica, Lambda sta sfruttando la piattaforma NVIDIA DSX™ AI Factory (NVIDIA DSX), che unifica progettazione, simulazione e operazioni per offrire la massima efficienza. Lambda è uno dei primi fornitori di cloud a utilizzare NVIDIA DSX MaxLPS™, un componente fondamentale di NVIDIA DSX, sui server GPU NVIDIA HGX B200 ottenendo così prestazioni maggiori e una migliore efficienza dei cluster.
Punti chiave
+24% di throughput dei token a livello di cluster
- Utilizzando NVIDIA DSX MaxLPS, Lambda ha eseguito 19 nodi anziché 16 con lo stesso budget energetico, aumentando il throughput dei token a livello di cluster del 24% e la capacità delle GPU del 19%.
+23% di prestazioni per watt
- NVIDIA DSX MaxLPS ha aumentato il throughput per watt a livello di cluster del 23%, operando all'interno dello stesso budget energetico fisso.
+20% di throughput di inferenza ibrida
- NVIDIA DSX MaxLPS ha permesso a Lambda di aggiungere due nodi di inferenza con lo stesso budget energetico, aumentando il throughput del 20% nelle configurazioni di inferenza e addestramento in simultanea.
+17% di throughput per l'addestramento ibrido
- NVIDIA DSX MaxLPS ha permesso a Lambda di aggiungere due nodi di addestramento con lo stesso budget energetico, aumentando il throughput del cluster di addestramento ibrido del 17%.
Il vincolo che limita le fabbriche IA? L'energia.
Lambda è stata fondata nel 2012 da ingegneri di machine learning specializzati. Una volta iniziato a creare applicazioni di IA, si sono presto resi conto che la scalabilità era un collo di bottiglia dell'infrastruttura. Nel 2018, Lambda è diventato uno dei primi fornitori di cloud IA a distribuire il calcolo accelerato NVIDIA nel cloud. Oggi, Lambda serve oltre diecimila clienti come università, laboratori IA, team IA aziendali e hyperscaler, e la sua flotta di infrastrutture NVIDIA AI include le piattaforme NVIDIA Ampere, NVIDIA Hopper™, NVIDIA Blackwell e NVIDIA Vera Rubin.
Distribuire e gestire cluster su larga scala per una vasta gamma di clienti non è solo l'attività principale di Lambda, ma è anche la sua sfida operativa più impegnativa. Le fabbriche IA sono progettate appositamente per produrre intelligenza, in cui ogni kilowatt conta per la consegna di token al secondo. A livello di produzione, i limiti di potenza degli impianti sono fissi. I sistemi di calcolo accelerato NVIDIA sono progettati per eseguire i carichi di lavoro IA più intensi al massimo throughput per watt. Quando la domanda supera la capacità di calcolo, si passa dall'acquisto di hardware al controllo operativo, ovvero quanti nodi possono essere eseguiti in modo produttivo entro il budget energetico fisso.
Il costo per token è definito da una semplice frazione: il costo dell'infrastruttura per ora di GPU diviso per i token consegnati. La potenza mal utilizzata e le configurazioni statiche riducono tale denominatore. Senza poter gestire l'energia in tempo reale, gli operatori del cloud si trovano davanti a una scelta netta: effettuare il provisioning in modo prudente per i picchi di utilizzo e lasciare inattiva la capacità, oppure aggiungere più nodi e rischiare l'instabilità in caso di picco dei carichi di lavoro.
I cloud specializzati come Lambda hanno bisogno di un meccanismo per monitorare e allocare dinamicamente l'energia a livello di rack, portando online più nodi entro un budget energetico esistente senza sacrificare l'affidabilità o la produttività.
DSX MaxLPS è progettato per massimizzare il calcolo all'interno di un budget energetico fisso. I risultati di Lambda ne dimostrano l'impatto immediato: MaxLPS ha permesso l'esecuzione di 19 nodi all'interno del budget energetico di una baseline di 16 nodi, aumentando il throughput dei token del cluster di circa il 24% e le prestazioni per watt del 23%.
Lambda ha convalidato DSX MaxLPS su un cluster di sistemi HGX B200 da cinque rack e 19 nodi e utilizzando i carichi di lavoro di inferenza e addestramento MLPerf per generare un consumo energetico costante e di picco nonché risultati riproducibili e comparabili con quelli del settore.
- Il Dynamic Power Software (DPS) monitora il consumo delle GPU e dei rack in tempo reale, riallocando l'energia dove è necessaria per massimizzare il throughput dei token all'interno di budget fissi.
- I controlli energetici configurabili in base alle policy consentono agli operatori di impostare gli obiettivi energetici per nodo senza modificare i carichi di lavoro in esecuzione. In questo ambito, Lambda ha testato l'80% e l'85% del consumo massimo, riducendo abbastanza il consumo per nodo da portare online ulteriori nodi all'interno dello stesso budget della struttura.
- Le dashboard di osservabilità energetica offrono agli operatori visibilità sull'assorbimento a livello di rack, una funzionalità perfezionata grazie al feedback di produzione di Lambda.
Throughput di inferenza (token/s): GPT-OSS-120B, 40 QPS per nodo
Più prestazioni, stesso budget energetico
I risultati hanno dimostrato che DSX MaxLPS espande in modo significativo il throughput dei token all'interno di un budget energetico fisso e che i vantaggi sono maggiori quando i carichi di lavoro misti creano uno spazio naturale per una condivisione dinamica dell'energia. Combinando i profili di potenza di picco dei carichi di lavoro di addestramento con la domanda sempre più costante di inferenza, è possibile recuperare capacità che altrimenti rimarrebbe inutilizzata in cluster con provisioning statico.
Per l'inferenza pura, i risultati sono diretti:
- Baseline (16 nodi, nessuna policy): circa 4,04 milioni di token/s
- Criterio DSX MaxLPS 85% (19 nodi): circa 5 milioni di token/s, un guadagno del 24% nelle prestazioni dei token dei cluster
I risultati per i carichi di lavoro simultanei rivelano una dinamica altrettanto importante. Le fabbriche IA in produzione raramente eseguono un singolo tipo di carico di lavoro: addestramento e inferenza vengono eseguiti parallelamente, ciascuno con profili energetici diversi. Con DSX MaxLPS, tale eterogeneità diventa una risorsa di efficienza. L'addestramento consuma energia a scatti, mentre l'inferenza colma le lacune. DSX MaxLPS assegna dinamicamente l'energia all'intero mix, sbloccando la capacità inutilizzata che le configurazioni statiche lasciano inattiva. Alla policy dell'80% che esegue simultaneamente 10 nodi di inferenza e 10 nodi di addestramento, il throughput dei cluster di addestramento è aumentato del 17% e quello dei cluster di inferenza del 20%. I carichi di lavoro misti mettono in evidenza il grande potenziale di ottimizzazione della capacità di DSX MaxLPS, anche se l'implementazione in produzione richiede un'attenta messa a punto per bilanciare i miglioramenti in termini di throughput con i requisiti di latenza e stabilità.
Oltre al throughput, la collaborazione di Lambda con i team ingegneristici di NVIDIA ha contribuito a migliorare l'usabilità e i controlli configurabili per la regolazione dell'alimentazione che saranno disponibili all'interno di DSX MaxLPS.
L'adozione di Lambda stabilisce un blueprint per la nuova generazione di fabbriche di IA: massimizzare le prestazioni per watt, e non il provisioning di hardware grezzo, è la leva chiave per migliorare l'economia delle fabbriche IA e ridurre i costi per token.
“Con il nostro proof of concept, riteniamo di aver superato i limiti dei budget energetici fissi. NVIDIA DSX MaxLPS ha aperto la strada al recupero della capacità inutilizzata e alla sua conversione in usi reali, con una densità di calcolo significativamente superiore sulla stessa footprint. È una blueprint scalabile e sostenibile per il modo in cui possiamo gestire ed espandere la nostra infrastruttura in futuro.”
Dave Ward
Presidente, Cloud Services, Lambda
Estendere DSX MaxLPS all'infrastruttura di nuova generazione
Con il proseguimento della collaborazione, Lambda potrebbe essere in grado di distribuire DSX MaxLPS su tutta la propria flotta diversificata e in espansione. Man mano che i piani e le tempistiche diventeranno più chiari, potrebbe inoltre offrire una maggiore capacità di token per rack, un controllo più preciso sull'allocazione dell'energia e un modello di sostenibilità operativa che il resto del settore potrà seguire.
Scopri come NVIDIA DSX MaxLPS sta consentendo di ottenere maggiori prestazioni per watt.