NVIDIA Vera CPU ラック
工場規模のエージェント時代のための CPU。
概要
AI ファクトリー向けラックスケール インフラ
NVIDIA MGX™ 基盤に構築された NVIDIA Vera CPU ラックは、現代の AI ファクトリー向けに、高密度で液冷式の CPU インフラを提供します。強化学習やエージェント型 AI システムの規模が拡大するにつれ、CPU はコードの実行、ツールの使用、結果の評価、そして成果につながるデータの分析を行うサンドボックス環境を稼働させます。NVIDIA Vera CPU ラックは、最大 256 個の相互接続された Vera CPU を搭載し、NVIDIA Vera Rubin NVL72 システムと併用することで高密度 CPU 容量を迅速に導入する手段を提供します。これにより、従来の CPU インフラと比較してワークロードを最大 80% 高速に完了させ、AI ファクトリーが 1 ドルあたりのトークン生成数を増やすのをサポートします。
飛躍的進歩
CPU サンドボックス
大規模なエージェント型 AI のための環境
強化学習とエージェント型 AI は、モデルと実行環境との間で継続的なフィードバック ループで実行されます。モデルがトークン、コード、クエリを生成し、CPU ベースのサンドボックスがアクションを実行し、結果を評価し、次のステップに向けてデータを返します。 大規模な運用では、数千から数百万の環境が並列で実行され、多くの場合専用の CPU コアにマッピングされます。コアあたりのパフォーマンスが向上することで、評価サイクルが短縮され、エージェントの待ち時間が減り、AI ファクトリーにおける 1 ドルあたりのトークン生成量が増加します。
NVIDIA Vera CPU ラック は、AI ファクトリー全体でこれらの環境を拡張するために設計されています。 単一の液冷ラックに最大 256 基の Vera CPU を統合し、22,500 以上の CPU 環境を同時にサポートします。高密度でデプロイ可能なラックスケール インフラにより、Vera CPU ラック は、NVIDIA Vera Rubin NVL72 システムとともに、AI ファクトリーが CPU 容量を追加できるよう支援し、評価ループを短縮し、AI ファクトリーをピーク スループットで運用できるようにします。
パフォーマンス
業界をリードするエージェント対応 CPU パフォーマンス
エージェント型 AI は従来の CPU によってボトルネックに陥っています。 エージェントの推論ループ全体で、CPU がコンテキストを圧縮し、SQLite メモリにクエリを行い、生成されたコードをコンパイルし、Python ツールチェーンを実行し、正規表現で出力を解析します。NVIDIA Vera は、5 つのワークロードすべてを主要な x86 CPU と比較して最大 1.8 倍高速化し、エージェント型の内部ループを大幅に高速化することで、AI ファクトリーの出力を最大化します。
相対的なパフォーマンスは測定データに基づくものであり、変更される可能性があります。NVIDIA Vera CPU (LPDDR5X搭載) のパフォーマンスは、最新世代の x86 CPU を基準としています。
特徴
ラックスケールの画期的な成果を見る
NVIDIA MGX を基盤に構築された NVIDIA Vera CPU ラック は、Vera のエージェント型 AI パフォーマンスを高密度な液冷システムでデータ センター規模にもたらします。 最大 256 基の Vera CPU、大規模な LPDDR5X メモリ帯域幅、NVIDIA® BlueField®-4 DPU、NVIDIA Spectrum-X™ イーサネット ネットワークにより、Vera CPU ラック は、AI ファクトリーに NVIDIA Vera Rubin NVL72 システムとともに高密度 CPU 容量を迅速にデプロイできる道筋を提供します。その結果、より多くの並列環境、より短い評価サイクル、そして 1 ドルあたりのトークン数の増加が実現します。
テクノロジ
Vera CPU ラック 内部
仕様1
NVIDIA Vera
| NVIDIA Vera CPU | NVIDIA Vera CPU ラック | |
|---|---|---|
| 構成 | 1 基の NVIDIA Vera CPU | 256 基の NVIDIA Vera CPU |
| コア | スレッド | 88 個のカスタム NVIDIA Olympus コア 176 スレッド |
22,528 個のカスタム NVIDIA Olympus コア (CPU あたり 88) | 45,056 スレッド (CPU あたり 176) |
| コアあたりの L2 キャッシュ | 2 MB | 2 MB |
| 統合 L3 キャッシュ | 164 MB | 42 GB (CPU あたり 164 MB) |
| SIMD (コアあたり) | 6x 128bSVE2 FP8 |
6x 128bSVE2 FP8 |
| メモリ容量 | 最大 1.5 TB SOCAMM LPDDR5X |
最大 400 TB2 SOCAMM LPDDR5X |
| ピークメモリ帯域幅 | 最大 1.2 TB/秒 | 最大 300 TB/秒 の合計 |
| NVIDIA NVLINK™-C2C 帯域幅 | 1.8 TB/秒 | CPU あたり 1.8 TB/秒 |
| PCIe CXL | 88 PCIe Gen 6 (CPU のみ) 96 PCIe Gen 6 (Vera Rubin) x16、x8、x4、x2 分岐 CXL 3.1 |
合計最大 22,528 レーンの PCIe Gen 6 、CXL 3.1 |
| NIC | BlueField-4 CX9 互換性のある任意の PCIe NIC |
NVIDIA BlueField-4 DPU をサポートする 64x PCIe gen Xx |
| コンフィデンシャル コンピューティング | はい | はい |
| フォームファクタと冷却 | 1S および 2S サーバー 空冷または水冷式 250 W ～ 450 W の構成可能な TDP |
48U MGX ラック 100% 液冷 |
1. 予備情報。 記載の数値は、予告なしに変更される場合があります。
2. 200 TB の推奨構成。
パートナー
NVIDIA のパートナー紹介
今すぐ始める
NVIDIA の最新情報を受け取る
NVIDIA からの最新情報やお知らせを、メールで受け取ることができます。