Cloud-Dienste
Lambda maximiert die Verarbeitungsleistung pro Watt mit NVIDIA DSX MaxLPS
Ziel
Da sich die KI-Workloads vergrößern und die Rechenanforderungen die verfügbare Infrastruktur übersteigen, sind festgelegte Energiebudgets zu einem kritischen Engpass geworden, der sowohl den Durchsatz als auch die Verarbeitungsleistung pro Watt einschränkt.
Um die Energieeffizienz zu maximieren, nutzt Lambda die NVIDIA DSX™ AI Factory Platform (NVIDIA DSX), die Design, Simulation und Betrieb zusammenführt, um maximale Effizienz zu erzielen. Als einer der ersten Cloud-Anbieter, der NVIDIA DSX MaxLPS™ – eine Kernkomponente von NVIDIA DSX – auf NVIDIA HGX B200-GPU-Servern einsetzt, erschließt Lambda höhere Cluster-Leistung und Effizienz.
Das Wichtigste im Überblick
+24 % höherer clusterweiter Token-Durchsatz
- Mit NVIDIA DSX MaxLPS konnte Lambda 19 Knoten statt 16 innerhalb des gleichen Energiebudgets ausführen, wodurch der clusterweite Token-Durchsatz um 24 % und die GPU-Kapazität um 19 % gesteigert wurden.
+23 % höhere Verarbeitungsleistung pro Watt
- NVIDIA DSX MaxLPS erhöhte den clusterweiten Durchsatz pro Watt um 23 % unter Einhaltung des gleichen festen Energiebudgets.
+20 % höherer hybrider Inferenzdurchsatz
- Mit NVIDIA DSX MaxLPS konnte Lambda zwei Inferenzknoten im Rahmen des gleichen Energiebudgets hinzufügen und den Durchsatz bei parallelen Inferenz- und Trainingskonfigurationen um 20 % erhöhen.
+17 % höherer hybrider Trainingsdurchsatz
- Mit NVIDIA DSX MaxLPS konnte Lambda zwei Trainingsknoten innerhalb des gleichen Energiebudgets hinzufügen und den Durchsatz des hybriden Trainingsclusters um 17 % erhöhen.
Energie ist der begrenzende Faktor von KI-Fabriken
Lambda wurde 2012 von Machine-Learning-Ingenieuren gegründet, die bereits wissenschaftliche Publikationen vorweisen konnten und zunächst mit der Entwicklung von KI-Anwendungen begannen, bevor sie feststellten, dass die Skalierung durch die Infrastruktur begrenzt wurde. Im Jahr 2018 wurde Lambda einer der ersten KI-Cloud-Anbieter, die NVIDIA-beschleunigte Rechenleistung in der Cloud bereitstellten. Heute bedient Lambda über zehntausend Kunden, von Hochschulen und KI-Laboren bis hin zu Unternehmens-KI-Teams und Hyperscalern. Sein Portfolio an NVIDIA KI-Infrastruktur umfasst die Plattformen NVIDIA Ampere, NVIDIA Hopper™, NVIDIA Blackwell und NVIDIA Vera Rubin.
Die Bereitstellung und Verwaltung von Großclustern für eine Vielzahl von Kunden ist das Kerngeschäft von Lambda und seine größte operative Herausforderung. KI-Fabriken sind speziell dafür konzipiert, Intelligenz zu produzieren, wobei jedes Kilowatt zählt, um Token pro Sekunde zu liefern. Im Produktionsmaßstab sind die Energiebudgets von Anlagen fest vorgegeben. NVIDIA-beschleunigte Rechensysteme sind so konzipiert, dass sie die intensivsten KI-Arbeitslasten mit maximaler Durchsatzleistung pro Watt ausführen können. Wenn die Nachfrage die Rechenkapazität übersteigt, verschiebt sich die Frage von der Hardwarebeschaffung auf den operativen Steuerungsbereich – wie viele Knoten können innerhalb des festgelegten Energiebudgets produktiv laufen.
Die Kosten pro Token werden durch eine einfache Bruchrechnung bestimmt: Infrastrukturkosten pro GPU-Stunde geteilt durch gelieferte Token. Brachliegende Leistung und statische Konfigurationen verringern diesen Nenner. Ohne dynamische Leistungsregelung in Echtzeit stehen Cloud-Betreiber vor einer simplen Wahl: Sie können entweder konservativ für Spitzenlasten planen und Kapazitäten ungenutzt lassen, oder sie können mehr Knoten integrieren und Instabilitäten bei Auslastungsspitzen riskieren.
Spezialisierte Clouds wie Lambda benötigen einen Mechanismus, um die Leistung dynamisch auf Rack-Ebene zu überwachen und zuzuweisen, sodass mehr Knoten innerhalb eines vorgegebenen Energiebudgets online gestellt werden können, ohne dass die Zuverlässigkeit oder die Durchsatzleistung beeinträchtigt werden.
DSX MaxLPS ist so konzipiert, dass die Rechenleistung innerhalb eines festgelegten Energiebudgets maximiert wird. Die Ergebnisse von Lambda zeigen die unmittelbaren Auswirkungen: MaxLPS ermöglichte den Betrieb von 19 Knoten innerhalb des Energiebudgets einer Baseline von 16 Knoten, wodurch der Cluster-Token-Durchsatz um etwa 24 % und die Verarbeitungsleistung pro Watt um 23 % erhöht wurden.
Lambda validierte DSX MaxLPS in einem Cluster mit fünf Racks und 19 Knoten aus HGX B200-Systemen und verwendete MLPerf-Inferenz- und -Trainings-Workloads, um eine konsistente Spitzenleistungsaufnahme und reproduzierbare, branchenweit vergleichbare Ergebnisse zu erzielen.
- Die Dynamic Power Software (DPS) überwacht den GPU- und Rack-Energieverbrauch in Echtzeit und verteilt die Energie dort, wo sie benötigt wird, um den Token-Durchsatz innerhalb festgelegter Budgets zu maximieren.
- Die konfigurierbaren Energiesteuerungen pro Richtlinie ermöglichen es den Betreibern, Energieziele pro Knoten festzulegen, ohne dass die laufenden Workloads verändert werden müssen. Lambda hat 80 % und 85 % der maximalen Leistungsaufnahme getestet und die Verbrauchshöhe pro Knoten ausreichend reduziert, um zusätzliche Knoten innerhalb des gleichen Anlagenbudgets online zu bringen.
- Energieverbrauch-Dashboards bieten den Betreibern Transparenz in Bezug auf den Stromverbrauch auf Rack-Ebene – eine Funktion, die durch die Produktionsrückmeldungen von Lambda weiter verbessert wurde.
Inferenz-Durchsatz (Token/s): GPT-OSS-120B, 40 QPS pro Knoten
Mehr Leistung, gleiches Energiebudget
Die Ergebnisse zeigen, dass DSX MaxLPS den Token-Durchsatz innerhalb eines festgelegten Energiebudgets erheblich vergrößert und dass die Vorteile sich vervielfachen, wenn gemischte Workloads natürlichen Spielraum für die dynamische Energieverteilung schaffen. Durch das Verknüpfen schwankender Energieprofile von Trainings-Workloads mit der stabileren Inferenznachfrage wird Kapazität zurückgewonnen, die andernfalls in statisch bereitgestellten Clustern ungenutzt bleiben würde.
Für reine Inferenz sind die Ergebnisse eindeutig:
- Baseline (16 Knoten, keine Richtlinie): ~4,04 Mio. Token/s
- 85-Prozent-DSX-MaxLPS-Richtlinie (19 Knoten): ~5 Mio. Token/s – eine Steigerung der Cluster-Token-Leistung um 24 %
Die Ergebnisse der gleichzeitigen Workloads zeigen eine ebenso wichtige Dynamik. Produktions-KI-Fabriken führen in der Regel keinen einzigen Workload-Typ aus – Training und Inferenz laufen parallel, wobei jeder Workload mit unterschiedlichen Energieprofilen arbeitet. Bei DSX MaxLPS wird diese Heterogenität zu einem Effizienzvorteil. Das Training nimmt in Schüben Energie auf; die Inferenz füllt die Lücken. DSX MaxLPS verteilt die Leistung dynamisch im gesamten Mix und schaltet so die brachliegende Kapazität frei, die bei statischen Konfigurationen ungenutzt bleibt. Bei der 80-Prozent-Strategie, bei der gleichzeitig 10 Inferenzknoten und 10 Trainingsknoten ausgeführt wurden, stieg die Durchsatzleistung des Trainingsclusters um 17 % und die des Inferenzclusters um 20 %. Gemischte Workloads unterstreichen das Kapazitätsoptimierungspotenzial von DSX MaxLPS, obwohl die produktive Implementierung eine sorgfältige Anpassung erfordert, um die Durchsatzsteigerung mit den Anforderungen an Latenz und Stabilität in Einklang zu bringen.
Über den Durchsatz hinaus hat die Zusammenarbeit von Lambda mit den Ingenieurteams von NVIDIA zur Verbesserung der Benutzerfreundlichkeit und zu konfigurierbaren Power-Shaping-Steuerungen beigetragen, die in DSX MaxLPS verfügbar sein werden.
Die Einführung durch Lambda schafft einen Blueprint für die nächste Generation von KI-Fabriken: Die Maximierung der Verarbeitungsleistung pro Watt – und nicht die Bereitstellung von Bare-Metal-Hardware – ist der entscheidende Faktor für die Verbesserung der Wirtschaftlichkeit in KI-Fabriken und die Erzielung der niedrigsten Tokenkosten.
„Mit unserem Konzeptnachweis glauben wir, die Einschränkung durch festgelegte Energiebudgets hinter uns gelassen zu haben. NVIDIA DSX MaxLPS ebnet den Weg für die Zurückgewinnung ungenutzter Kapazitäten und deren Umwandlung in echte Nutzungsmöglichkeiten mit einer deutlich höheren Rechendichte im gleichen Rahmen. Dies ist ein skalierbarer und nachhaltiger Blueprint, wie wir unsere Infrastruktur in Zukunft betreiben und erweitern können.”
Dave Ward
President, Cloud Services, Lambda
Die Erweiterung von DSX MaxLPS auf die Infrastruktur der nächsten Generation
Im weiteren Verlauf der Zusammenarbeit könnte Lambda gut positioniert sein, um DSX MaxLPS in seiner vielfältigen und umfangreichen Flotte bereitzustellen, sobald die Pläne und Zeitrahmen klarer werden – was Kunden mehr Tokenkapazität pro Rack, genauere Kontrolle über die Energieallokation und ein Modell für den nachhaltigen Betrieb von KI-Fabriken bietet, an dem sich der Rest der Branche orientieren kann.
Entdecken Sie, wie NVIDIA DSX MaxLPS eine höhere Verarbeitungsleistung pro Watt ermöglicht.