Mit AI-, Grafik- und Medienbeschleunigung der nächsten Generation bietet der L40S eine bis zu 5-mal höhere Inferenzleistung als die Vorgängergeneration NVIDIA A40. Mit bahnbrechender Leistung und 48 Gigabyte (GB) Speicherkapazität ist der L40S die ideale Plattform für die Beschleunigung multimodaler generativer AI-Workloads.
NVIDIA L40S
Unübertroffene KI- und Grafikleistung für Rechenzentren.
Der leistungsstärkste Universal-Grafikprozessor
Erleben Sie bahnbrechende Multi-Workload-Leistung mit dem NVIDIA L40S-Grafikprozessor. Der L40S-Grafikprozessor vereint leistungsstarke KI-Rechenleistung und erstklassige Grafik- und Medienbeschleunigung und ist auf die nächste Generation von Rechenzentrums-Workloads ausgelegt – von generativer KI und Inferenz und Training für Large Language Models (LLM) bis hin zu 3D-Grafik, Rendering und Videos.
Highlights
Universelle Leistung
Tensor-Leistung
1.466 TFLOPS¹
RT Core-Rechenleistung
212 TFLOPS
Single-Precision-Leistung
91,6 TFLOPS
1 Spitzenwerte basieren auf GPU-Boost-Taktung.
Merkmale
Basierend auf der NVIDIA Ada Lovelace-Architektur
Workloads
Multi-Workload-Beschleunigung
Generative KI
Entwickeln Sie neue Dienste, Einblicke und originelle Inhalte.
LLM-Training und Inferenz
Beschleunigen Sie KI-Training und Inferenz-Workloads.
Rendering und 3D-Grafik
Steuern Sie kreative Workflows mit hoher Genauigkeit mit NVIDIA RTX™-Grafiken.
NVIDIA Omniverse
Erstellen und betreiben Sie Metaverse-Anwendungen.
NVIDIA OVX L40S
Skalierbare Rechenzentrumsinfrastruktur für leistungsstarke AI und Grafik.
Leistung
Überragende Leistung
Bild generative AI
Stable Diffusion (images per minute)
Gemessene Leistung; NVIDIA L40S
Stable Diffusion v2.1, TRT 8.6.1, BS:1, FP16 | Stable Diffusion XL 1.0, TRT 8.6.1, BS:1, FP16
Inferenz für Large Language Models (LLMs)
1st Token Latency (ms)
Gemessene Leistung; NVIDIA L40S
Llama 2-7B/13B/70B, ISL=2048, OSL=128, BS=1;: FP8.
Technische Daten
NVIDIA L40S GPU
| FP32 | 91,6 TeraFLOPS |
| TF32-Tensor-Core | 366 TeraFLOPS* |
| FP16 | 733 teraFLOPS* |
| FP8 | 1.466 TeraFLOPS* |
| RT Core-Rechenleistung | 212 teraFLOPS |
| Max. Energieverbrauch | 350 W |
|
* Mit geringer Dichte |
|