Accelera l'innovazione nel cloud

Perplexity ha creato pplx-api utilizzando le GPU NVIDIA A100 Tensor Core su AWS e NVIDIA TensorRT™-LLM, raggiungendo una latenza fino a 3,1 volte inferiore e una latenza del primo token fino a 4,3 volte inferiore rispetto ad altre piattaforme. La startup ha ridotto i costi di inferenza di 4 volte, risparmiando 600.000 dollari all'anno, scalando con centinaia di GPU, con le GPU NVIDIA H100 che offrono una latenza inferiore del 50% e un throughput superiore del 200% rispetto alle A100.

Noetik, membro del programma NVIDIA Inception, utilizza le GPU NVIDIA Hopper™ Tensor Core su AWS SageMaker HyperPod per addestrare modelli fondamentali multimodali per l'immunoterapia di precisione contro il cancro. Ciò consente l'elaborazione di 1 petabyte di dati tumorali umani, profilando oltre 200 milioni di cellule, per accelerare la ricerca terapeutica e fornire trattamenti su misura per i singoli pazienti.

Fireworks.ai ha creato una soluzione di inferenza di IA generativa ultraveloce e ottimizzata per i costi utilizzando istanze Amazon EC2 P5 basate su GPU NVIDIA H100 Tensor Core. La piattaforma offre un throughput per istanza 4 volte superiore rispetto alle soluzioni open source, riduce la latenza fino al 50% e riduce i costi generali di 4 volte per alcuni clienti. Gli sviluppatori possono eseguire, ottimizzare e personalizzare i modelli di base, tra cui Llama 2, Stable Diffusion XL e StarCoder, soddisfacendo gli standard di conformità HIPAA e SOC2 Tipo II.

A-Alpha Bio ha accelerato la ricerca farmacologica distribuendo NVIDIA BioNeMo™ su AWS, raggiungendo un'inferenza 12 volte più veloce ed elaborando 108 milioni di previsioni di legame proteico, 10 volte più di quanto inizialmente pianificato. Utilizzando istanze Amazon EC2 P5 basate su GPU NVIDIA H100 Tensor Core, la startup di biotecnologia ha ridotto i cicli sperimentali di 1–2 iterazioni, riducendo i costi e scoprendo candidati per anticorpi monoclonali superiori per le terapie.

Synthesia ha trasformato la produzione di video IA distribuendo istanze Amazon EC2 basate su GPU NVIDIA, ottenendo un miglioramento di 30 volte del throughput di addestramento dei modelli ML. Utilizzando istanze Amazon EC2 P5 con GPU NVIDIA H100 Tensor Core e istanze P4 con GPU NVIDIA A100, la startup di IA ha ridotto i tempi di addestramento per i modelli vocali da giorni a ore, supportando una crescita degli utenti del 456%.

Innophore accelera la ricerca farmacologica utilizzando NVIDIA BioNeMo per analizzare le strutture proteiche con la sua tecnologia Catalophore. La piattaforma ha completato la mappatura delle strutture proteiche dell'intero organismo umano in due settimane, un'attività che prima richiedeva oltre un anno. Ciò migliora l'accuratezza nel prevedere gli effetti dei farmaci fuori bersaglio del 30% nei risultati migliori della classifica.