NVIDIA Vera CPU 機架
專為工廠級規模代理時代打造的 CPU
概覽
適用於 AI 工廠的機架級基礎架構
NVIDIA Vera CPU Rack 採用 NVIDIA MGX™ 架構打造，為現代 AI 工廠提供高密度液冷式 CPU 基礎架構。隨著強化學習與代理 AI 系統持續擴展規模，CPU 負責執行沙盒環境，而這些環境可執行程式碼、使用工具、評估結果，以及分析驅動成果的資料。NVIDIA Vera CPU Rack 最多可配備 256 顆互連的 Vera CPU，並提供快速部署高密度 CPU 容量的途徑，可與 NVIDIA Vera Rubin NVL72 系統搭配部署。相較於傳統 CPU 基礎架構，其工作負載完成速度最高可提升 80%，並協助 AI 工廠實現更高的每美元 token 產出。
最新突破
CPU 沙盒
用於大規模代理式 AI 的環境
強化學習與代理式 AI 在模型與執行環境之間以持續回饋迴圈的方式執行。模型生成 token、程式碼與查詢，而 CPU 型沙盒則執行動作、評估結果，並將資料回傳以供下一輪使用。在大規模情境下，數千到數百萬個環境並行執行，通常會對應分配到專用的 CPU 核心。更高的每核心效能可縮短評估週期、減少代理程式的等待時間，並協助 AI 工廠以更低成本生成更多 token。
NVIDIA Vera CPU 機架專為在 AI 工廠中擴展這類環境而打造。單一液冷式機架最多可整合 256 個 Vera CPU，支援超過 22,500 個同時執行的 CPU 環境。Vera CPU 機架透過高密度、可部署的機架級基礎設施，協助 AI 工廠在 NVIDIA Vera Rubin NVL72 系統旁增加 CPU 容量，縮短評估迴圈，並讓 AI 工廠以最高傳輸量運作。
效能
業界頂尖的代理式 CPU 效能
代理式 AI 的效能受限於傳統 CPU 瓶頸。在代理程式的推理循環中，CPU 會壓縮情境、查詢 SQLite 記憶體、編譯生成的程式碼、執行 Python 工具鏈，並利用 RegEx 解析輸出。NVIDIA Vera 可將所有五種工作負載加速至頂尖 x86 CPU 的 1.8 倍，大幅提升代理式內部循環，將 AI 工廠輸出最大化。
相對效能基於實測資料，可能會有所變動。搭載 LPDDR5X 的 NVIDIA Vera CPU 效能以最新世代 x86 CPU 為基準。
特色
探索機架級突破
基於 NVIDIA MGX 打造的 NVIDIA Vera CPU 機架，以密集型液冷系統將 Vera 的代理式 AI 效能帶入資料中心級規模。Vera CPU 機架最多可配置 256 顆 Vera CPU，具備龐大的 LPDDR5X 記憶體頻寬、NVIDIA® BlueField®-4 DPU 以及 NVIDIA Spectrum-X™ 乙太網路，為 AI 工廠提供一條快速途徑，以便在 NVIDIA Vera Rubin NVL72 系統旁快速部署高密度 CPU 容量。結果是實現更多並行環境、更短的評估週期，以及每美元可產出更多 Token。
技術
Vera CPU 機架內部
規格1
NVIDIA Vera
| NVIDIA Vera CPU | NVIDIA Vera CPU Rack | |
|---|---|---|
| 配置 | 1 顆 NVIDIA Vera CPU | 256 顆 NVIDIA Vera CPU |
| 核心 | 執行緒 | 88 個自訂 NVIDIA Olympus 核心 176 個執行緒 |
22,528 個自訂 NVIDIA Olympus 核心（每顆 CPU 88 個）| 45,056 個執行緒（每顆 CPU 176 個） |
| L2 快取（每核心） | 2 MB | 2 MB |
| 統一 L3 快取 | 164 MB | 42 GB（每顆 CPU 164 MB） |
| SIMD（每核心） | 6x 128bSVE2 FP8 |
6x 128bSVE2 FP8 |
| 記憶體容量 | 最高可達 1.5 TB SOCAMM LPDDR5X |
最高可達 400 TB2 SOCAMM LPDDR5X |
| 峰值記憶體頻寬 | 最高 1.2 TB/s | 最高可達 300 TB/s 總計 |
| NVIDIA NVLINK™-C2C 頻寬 | 每秒 1.8 TB | 每顆 CPU 1.8 TB/s |
| PCIe CXL | 88 PCIe Gen 6（僅限 CPU） 96 PCIe Gen 6 (Vera Rubin) x16、x8、x4、x2 通道分配 CXL 3.1 |
總計最多可達 22,528 條 PCIe Gen 6 通道 ；CXL 3.1 |
| NIC | BlueField-4 CX9 任何相容的 PCIe NIC |
64x PCIe gen Xx，支援 NVIDIA BlueField-4 DPU |
| 機密運算 | 是 | 是 |
| 外形規格與冷卻系統 | 1S 與 2S 伺服器 氣冷式或液冷式 250 瓦至 450 瓦可配置 TDP |
48U MGX 機架 100% 液冷式冷卻系統 |
1. 初步資訊。所有數值均為最大值且可能有所變更。
2. 200 TB 建議配置。
合作夥伴
認識我們的合作夥伴
開始使用
隨時掌握 NVIDIA 最新消息
訂閱以接收 NVIDIA 的最新消息、更新內容及更多資訊。