NVIDIA NVLink Fusion

半客製化 AI 基礎架構採用經業界驗證的 AI 垂直擴充效能與機架規模架構。

概覽

採用 NVLink Fusion 的半客製化 AI 工廠

NVIDIA NVLink™ Fusion 是一項高頻寬、低延遲的連接技術與智慧財產 (IP),使超大規模雲端業者與 AI 原生企業能夠將自訂 XPU 與 CPU 部署至 NVIDIA 領先全球的 AI 基礎設施平台。運用 NVIDIA 經驗證的縱向擴充與橫向擴充技術堆疊與生態系統,以及 MGX™ 機架級架構,降低半客製化 AI 工廠的開發複雜度、提升效能,並加速產品上市時程。透過在單一統一架構上進行標準化,NVLink Fusion 簡化了整個資料中心的營運,實現了資料中心容量的彈性重新配置,並讓 XPU 系統能與 NVIDIA GPU 機架級系統無縫整合,以進行異質運算。

NVIDIA NVLink Fusion 透過 NVHBM 自訂高頻寬記憶體進行擴充

Amazon 的 Annapurna Labs 將成為首家在 NVHBM 領域與 NVIDIA 合作的夥伴,結合 AWS 自訂晶片、NVIDIA 記憶體技術與 NVLink 垂直擴充架構,以提升 AI 工作負載的效能與效率。

利用 NVIDIA NVLink Fusion 將半客製化運算方案整合至機架規模架構

瞭解 NVIDIA NVLink Fusion 如何協助超大規模雲服務商建構半客製化 AI 基礎架構,將 ASIC 或 CPU 與 NVIDIA GPU 整合,並透過單一可擴充的硬體基礎架構標準化。

高效能 AI 工廠若運用 NVLink Fusion,不僅可快速擴充,還能讓打造 NVIDIA 機架規模架構的所有解決方案元件充分發揮效益。

優勢

NVLink Fusion 的優勢

世界級垂直擴充效能

所有的加速器都必須具備快速的記憶體和迅捷順暢的通訊,AI 工廠的潛力才能發揮得淋漓盡致。NVIDIA NVHBM 可增加記憶體頻寬並降低功耗,而 NVIDIA NVLink 6 以每個 XPU 每秒 3.6 TB 的速度全對全連接 72 個 XPU,未來發展藍圖的領域規模高達 1,152,以提升 AI 效能與投資報酬率。

經生產驗證的技術生態系統與供應鏈

完整的 NVLink Fusion 技術生態系統,包括 XPU 設計合作夥伴、CPU 合作夥伴與 IP 供應商,協助超大規模雲端業者與 AI 原生企業最佳化 XPU 設計並精簡開發流程。MGX 生態系統提供完整的機架級架構,並將採用者的超大規模雲端業者連接至與 NVIDIA 自身 MGX 系統所使用的同一套經驗證的供應鏈,消除新機架設計與供應商管理的複雜性,並加速產品上市時間。

靈活的重新配置與部署風險緩解

採用 MGX 機架架構的一大關鍵優勢在於,基於 XPU 與 GPU 的系統(例如 Vera Rubin NVL72)可輕鬆整合至同一資料中心,共享相同的機架與機架佔地、網路、冷卻、供電以及管理系統。這種統一的方法讓 NVLink Fusion 的採用者能將資料中心的設計與建置,與晶片就緒性與供應解耦,進而使其能夠隨著需求變化,輕鬆調整不同的 XPU 或 GPU 系統的組合重新配置資料中心容量。

異質 AI 基礎設施的統一架構

NVLink Fusion 的採用者可在同一資料中心部署不同類型的 XPU,或同時部署 XPU 與 GPU,以支援異質運算,並用於解耦式推論及其他非對稱工作負載。

結果是沒有任何單一公司能夠獨立建造一座單一、半客製化的 AI 工廠。

平台

NVIDIA NVLink Fusion 技術

NVIDIA NVLink

NVIDIA NVLink 6 與 NVLink 交換器晶片在單一 72 個加速器 NVLink 通訊域 (NVL72) 實現每秒 260 TB 的頻寬,而且支援 NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ FP8,頻寬效率提升 4 倍。

NVIDIA NVLink-C2C

NVIDIA NVLink-C2C 將領先業界的 NVLink 技術延伸為晶片對晶片互連技術。這樣一來,便能採用小晶片與 NVIDIA 合作夥伴打造新類別的整合式產品,讓 NVIDIA GPU 或 CPU 與客製化晶片實現高頻寬一致性互連。

NVIDIA NVHBM

NVIDIA NVHBM 是一款客製化新一代高頻寬記憶體 (HBM) 架構。它包括由 NVIDIA 設計並獲得領先記憶體供應商驗證的自訂 HBM 基礎晶片與記憶體控制器,可增加頻寬、降低 HBM 功耗,並節省 XPU 運算晶片上的面積。

AI 基礎設施平台

NVIDIA 提供 AI 工廠技術的模組化產品組合,包括 NVIDIA GPU、NVIDIA Vera CPU、共同封裝光學 (CPO) 交換器、ConnectX® SuperNICs™、BlueField® DPU 以及 Mission Control™ 軟體,用於最佳化 AI 工作流程並管理 AI 基礎設施。

完整機架級解決方案也支援半自訂 AI 工廠整合,包括 Vera Rubin NVL72 機架,可與基於 XPU 的系統混合部署以支援解耦式推論;Vera CPU 機架,用於支援代理式 AI 系統與強化學習;NVIDIA LPX 機架,用於高情境與低延遲推論;NVIDIA STX 機架,用於 AI 原生儲存;以及 NVIDIA SPX 機架,用於橫向擴展網路。

採用者

NVLink Fusion 生態系

利用 NVLink Fusion 擴充 AI 推論效能

瞭解 NVIDIA NVLink Fusion 如何因應複雜 AI 模型日益增長的需求。