KI-Datenspeicher-Ökosystem für das Rechenzentrum
NVIDIA CMX Context Memory Storage Plattform
Neugestaltung von Inferenz-Datenspeicher für die nächste Dimension von KI.
Überblick
KI-nativer Datenspeicher beschleunigt Long-Context-Inferenz in großem Maßstab
NVIDIA CMX™ Context Memory Datenspeicher ist eine KI-native Kontext-Ebene für Lang-Kontext, Multi-Turn und agentische KI-Inferenz. Er wird vom NVIDIA BlueField™-4 Datenspeicherprozessor unterstützt und erweitert den GPU-Speicher mit einer gemeinsamen Kontextebene auf Pod-Ebene, die für ephemere Key-Value-Cache (KV) optimiert ist. Die Plattform bietet einen Pfad mit hoher Bandbreite, der Latenz, Kosten und Energieaufwand für umfangreiche Inferenz-Workloads reduziert und so einen höheren Durchsatz und eine bessere Energieeffizienz auf NVIDIA Rubin-Plattformen ermöglicht.
Produkte
KI-native durchgehend integrierte Datenspeicherinfrastruktur
Von beschleunigtem Kontextspeicher und sicherer Datenübertragung bis hin zu Ethernet-Fabrics und Inferenz-Frameworks – NVIDIA CMX ist das Ergebnis einer intensiven Zusammenarbeit in den Bereichen Computing, Netzwerke, Speicher und Software.
Produktvorteile
Beschleunigtes Kontext-Memory für KI mit langem Kontext
NVIDIA CMX führt eine dedizierte Kontextebene ein, die den nachhaltigen Durchsatz und die Energieeffizienz für KV-Cache-intensive Workloads mit langem Kontext im Vergleich zu herkömmlichen Datenspeicheransätzen verbessert.
Energie für Gigascale-KI zurückgewinnen
Skalieren Sie KI-Dienste mit einer hocheffizienten, KV-Cache-optimierten Speicherebene, die essenzielle Leistung zurückgewinnt und so mehr Leistung im Rechenzentrum für GPUs statt für herkömmliche Speicher bereitstellt.
Maximieren Sie GPU-Auslastung, Durchsatz und Reaktionsfähigkeit
Optimieren Sie Datenpfade und reduzieren Sie Verzögerungen durch die Wiederverwendung von vorberechnetem KV-Cache aus der CMX-Ebene, anstatt ihn neu zu berechnen. Dies steigert die Anzahl der Token pro Sekunde und den Durchsatz für agentische Multi-Turn-Inferenz. CMX reduziert die Zeit bis zum ersten Token und die Zeit bis zum letzten Token, sodass Antworten früher gestreamt und schneller fertig gestellt werden, selbst wenn Modelle, Kontextfenster und Gleichzeitigkeit wachsen.
Ermöglichen Sie eine intelligente, effiziente gemeinsame Nutzung des KV-Caches über den KI-Pod
Bieten Sie einen schnellen, podweiten Zugriff auf KI-native Kontexte, damit Multi-Turn-Agenten sich koordinieren, Zustände austauschen und nahtlos skalieren können, wenn die Arbeitslast zunimmt, und gleichzeitig die Duplizierung von KV-Cache und unausgelasteten Kapazitäten über Knoten hinweg reduzieren.
Erweitern Sie die GPU-Kapazität für Inferenz mit langem Kontext
Stellen Sie eine enorme KV-Cache-Kapazität bereit, um Long-Context-Reasoning, Multi-Agenten-Workflows, Modelle mit Billionen Parametern und längere Kontext-Fenster für viele gleichzeitige Benutzer zu unterstützen.
NVIDIA STX
NVIDIA STX ist eine modulare Referenzarchitektur für KI-Datenspeicher, die gemeinsam mit führenden Datenspeicherpartnern entwickelt wurde und auf beschleunigter Rechen-, Netzwerk- und KI-Software von NVIDIA basiert. NVIDIA STX bietet die Grundlage für die Entwicklung einer universellen Daten-Engine, die den gesamten KI-Lebenszyklus beschleunigt, vom Training und der Analyse bis hin zur agentischen Inferenz in Echtzeit.
Ökosystem
NVIDIA CMX Context Memory Storage Partner
Ressourcen
Bausteine für das Kontext-Zeitalter
Erste Schritte
Sprechen Sie mit den Experten von NVIDIA
Kontaktieren Sie das NVIDIA Enterprise-Vertriebsteam oder Ihren Partner im NVIDIA Partner Network (NPN)-Programm, um direkt durchzustarten.
Benötigen Sie Hilfe bei der Auswahl des richtigen Partners oder Produkts?
Sprechen Sie mit einem NVIDIA Spezialisten über die geschäftlichen Anforderungen.
Verpassen Sie keine Neuigkeiten über NVIDIA
Melden Sie sich an, um die neuesten Nachrichten, Updates und mehr von NVIDIA zu erhalten.