Con funzionalità IA, grafica e accelerazione multimediale di nuova generazione, L40S offre prestazioni di inferenza fino a 5 volte superiori rispetto alla NVIDIA A40 di precedente generazione. Con prestazioni all'avanguardia e 48 gigabyte (GB) di capacità di memoria, L40S è la piattaforma ideale per accelerare i carichi di lavoro di IA generativa multimodali.
NVIDIA L40S
Prestazioni IA e grafiche senza pari per il data center.
La GPU universale più potente
Sperimenta prestazioni straordinarie su carichi di lavoro multipli con la GPU NVIDIA L40S. Combinando la potenza del calcolo basato su IA con grafica e accelerazione multimediali all'avanguardia, la GPU L40S è progettata per alimentare la nuova generazione di carichi di lavoro del data center, dall'IA generativa all'inferenza per modelli linguistici di grandi dimensioni (LLM), fino alla grafica 3D, al rendering e al video.
In evidenza
Prestazioni universali
Prestazioni Tensor
1.466 TFLOPS¹
Prestazioni RT Core
212 TFLOPS
Prestazioni in precisione singola
91.6 TFLOPS
1 Velocità di picco basate sul boost clock della GPU.
Caratteristiche
Basata su architettura NVIDIA Ada Lovelace
Workloads
Accelerazione per carichi di lavoro multipli
IA generativa
Sviluppa nuovi servizi, approfondimenti e contenuti originali.
Training e inferenza di modelli LLM
Accelera i carichi di lavoro di training e inferenza con IA.
Rendering e grafica 3D
Flussi di lavoro creativi ad alta fedeltà con le schede grafiche NVIDIA RTX™.
NVIDIA Omniverse
Crea e gestisci applicazioni nel metaverso.
NVIDIA OVX L40S
Infrastruttura per data center scalabile per IA e grafica ad alte prestazioni.
Prestazioni
Prestazioni all'avanguardia
Immagine IA generativa
Stable Diffusion (images per minute)
Prestazioni misurate; NVIDIA L40S
Stable Diffusion v2.1, TRT 8.6.1, BS:1, FP16 | Stable Diffusion XL 1.0, TRT 8.6.1, BS:1, FP16
Modelli linguistici di grandi dimensioni (LLM)
1st Token Latency (ms)
Prestazioni misurate; NVIDIA L40S
Llama 2-7B/13B/70B, ISL=2048, OSL=128, BS=1;: FP8.
Specifiche
GPU NVIDIA L40S
| FP32 | 91.6 teraFLOPS |
| TF32 Tensor Core | 366 teraFLOPS* |
| FP16 | 733 teraFLOPS* |
| FP8 | 1,466 teraFLOPS* |
| Prestazioni RT Core | 212 teraFLOPS |
| Max consumo energetico | 350 W |
|
* Con densità |
|