資料中心適用的 AI 儲存機制生態系
NVIDIA CMX 情境記憶儲存平台
重塑推論儲存架構,迎接 AI 新領域。
概覽
AI 原生儲存機制大規模加速長情境推論
NVIDIA® CMX™ 情境記憶儲存平台是長情境、多輪互動與代理型 AI 推論用的 AI 原生情境層。它採用 NVIDIA BlueField® ‑4 儲存處理器,透過針對暫時性鍵值 (KV) 快取最佳化的共享式 Pod 級情境層擴充 GPU 記憶體。該平台提供的高頻寬路徑,可降低大規模推論工作負載的延遲、成本與功耗開銷,有助於在 NVIDIA Rubin 平台實現更高的傳輸量與更優異功率效率。
產品
端到端整合的 AI 原生儲存基礎架構
NVIDIA CMX 是運算、網路、儲存與軟體極致的共同設計成果,涵蓋加速的情境記憶架構與安全資料移動機制,以及乙太網路網狀架構和推論框架。
產品優勢
長情境 AI 用的加速情境記憶
NVIDIA CMX 引進專用的情境層,相較於傳統儲存法,可提升 KV 快取密集型長情境工作負載的持續傳輸量與功率效率。
重掌千兆級 AI 電力資源
利用高效的 KV 快取最佳化儲存層擴大 AI 服務規模,藉此收回寶貴的電力,釋出更多資料中心電力預算給 GPU,而非傳統儲存裝置。
將 GPU 利用率、傳輸量與回應能力最大化
重複使用 CMX 層預先運算的 KV 快取,無需重新運算,將資料路徑最佳化,並減少停頓。這樣一來,多輪代理型推論每秒產出的 Token 數與傳輸量便大幅提升。CMX 縮短了產出第一個 Token 與最後一個 Token 的時間,因此即使模型、情境視窗與同時處理量增加,答案也能更早開始串流並更快完成輸出。
在 AI Pod 實現智慧高效的 KV 快取共享
在全 Pod 提供 AI 原生情境的高速存取,讓多輪代理能夠隨工作負載增加順暢協調、共享狀態並擴大規模,同時減少跨節點的 KV 快取重複與閒置容量。
擴充 GPU 容量,實現長情境推論
提供龐大的 KV 快取容量,支援長情境推理、多代理工作流程、兆級參數模型,並且為大量同時上線的使用者提供更長的情境視窗。
NVIDIA STX
NVIDIA STX 是 AI 儲存用的模組化參考架構,由頂尖儲存合作夥伴共同設計,並且採用 NVIDIA 加速運算資源、網路與 AI 軟體。NVIDIA STX 為建置通用資料引擎提供基礎,可加速整個 AI 生命週期,範圍涵蓋訓練、分析與即時代理型推論。
生態系
NVIDIA CMX 情境記憶儲存機制合作夥伴
資源
構築情境時代的關鍵模組
立即開始
與 NVIDIA 專家合作
聯絡 NVIDIA 企業銷售團隊或 NVIDIA 合作夥伴網路 (NPN) 計畫中的合適合作夥伴,立即開始使用。
需要協助選擇合適的合作夥伴或產品?
與 NVIDIA 專家討論您的業務需求。
隨時掌握 NVIDIA 最新消息
註冊即可收到 NVIDIA 的最新消息與動態等。