NVIDIA DSX OS
AI ファクトリーの運用向けのオープンなモジュール式ソフトウェア。
概要
AI ファクトリーの運用基盤
AI ファクトリーを本番環境に導入するには、インフラ チームとプラットフォームチームが連携し、ハードウェアのプロビジョニング、ネットワーク、Kubernetes、GPU 管理、ワークロードのスケジューリング、推論サービス、セキュリティ、監視、復旧といった各機能を統合する必要があります。 各レイヤーを個別に構築して運用すると、デプロイが遅れ、貴重なリソースを十分に活用できず、障害の解決も困難になる可能性があります。
NVIDIA DSX OS™ は、オープンなモジュール式ソフトウェア ポートフォリオを通じて、これらの機能を統合します。これにより、運用担当者はインフラを稼働させ、一貫したランタイム環境を維持し、GPU 利用率を向上させ、フリートの健全性管理を自動化するとともに、本番環境の AI サービスを大規模かつ安定的に提供できます。
すぐに必要な要件に対応するコンポーネントを導入し、既存の環境に統合した上で、インフラやサービスの成長に合わせて拡張できます。
特徴
AI ファクトリーの運用向けの単一のモジュール式ソフトウェア ポートフォリオ
DSX OS は、アクセラレーテッド インフラの稼働開始、AI ワークロードの実行、そして Day 2 の運用を通じた生産性維持を支援する、モジュール式の機能を提供します。
利点
AI ファクトリーの運用効率と収益性を向上
DSX OS は、プロバイダーがインフラをより迅速に稼働させ、アクセラレーテッドリソースをより有効に活用し、マルチテナント環境で AI サービスを安定的に運用できるよう支援します。
収益化までの時間を短縮
環境ごとに基盤となる運用機能を一から構築するのではなく、モジュール式のインフラとプラットフォーム ソフトウェアを再利用できます。
クラスターを稼働させ、準備状況を検証することで、AI サービスの提供をより迅速に開始できます。
GPU リソースをより有効に活用
インテリジェントなスケジューリング、リソースの割り当て、トポロジを考慮した配置、およびサービスのオーケストレーションを通じて、ワークロードの需要に合わせて GPU リソースを最適に割り当てます。
信頼性とレジリエンスを向上
ランタイムの一貫性を維持し、フリートの健全性を監視して障害を特定するとともに、ワークロードを保護し、修復を自動化して、影響を受けたリソースを再び利用可能な状態に戻します。
事後対応型のアラート中心の運用から、健全性の監視と復旧を自動化するライフサイクル管理へと移行します。
安全なマルチテナント運用を拡張
インフラのライフサイクルを管理し、プラットフォームの完全性を検証するとともに、リソースをオーケストレーションし、複数のテナントやクラスターにわたって AI サービスを提供します。
運用要件の拡大に合わせて、個々のコンポーネントを導入したり、複数の機能を組み合わせたりできます。
導入時の選択肢
AI ファクトリーに必要な機能から導入を開始
DSX OS は、段階的に導入できるように設計されています。 まず、特定の運用要件に対応する機能から導入し、その後必要に応じて拡張できます。
次のステップ
FAQ
NVIDIA DSX OS™ は、マルチテナント型 AI ファクトリー インフラの構築、運用、拡張を目的とした、オープンなモジュール式ソフトウェア ポートフォリオです。 プラットフォームとインフラの運用を支えるオープンソースのコンポーネントと、関連する NVIDIA のテクノロジーで構成されています。
AI ファクトリーを本番環境に導入するには、インフラチームとプラットフォームチームが連携し、ハードウェアのプロビジョニング、ネットワーク、Kubernetes、GPU 管理、ワークロードのスケジューリング、推論サービス、セキュリティ、監視、復旧といった各機能を調整する必要があります。これらのレイヤーを個別に運用すると、デプロイに時間がかかり、リソースが十分に活用されないまま、障害からの復旧を複雑化させる可能性があります。DSX OS は、既存のプラットフォームやソフトウェア スタックに統合できる、モジュール式テクノロジーを提供します。
DSX OS はモジュール式で、段階的に導入できるように設計されています。組織は、まず差し迫った運用要件に対応するコンポーネントを導入し、それらを既存のソフトウェア スタックに統合したうえで、インフラやサービスの拡大に合わせて機能を追加できます。
DSX OS Platform Software には、KAI Scheduler、Karta、NVIDIA Run:ai、NVIDIA Cloud Functions (NVCF)、Grove、NVIDIA Dynamo が含まれます。 これらのコンポーネントは、ワークロードのスケジューリングと GPU オーケストレーション、サービスオーケストレーション、分散推論をサポートします。
DSX OS インフラ ソフトウェアには、NVIDIA GPU Operator、NVIDIA Network Operator、Topograph、NVIDIA AI Cluster Runtime、NVIDIA Infra Controller (NICo)、NVIDIA DOCA Platform Framework (DPF)、NVIDIA Switch Infrastructure - Config Manager、NVIDIA Rack Management Service が含まれます。 これらのコンポーネントを組み合わせることで、クラスターランタイム、トポロジ認識、ベアメタル環境のプロビジョニング、マルチテナント環境のライフサイクル運用、ラックおよびネットワークインフラの管理を実現します。
NVIDIA Cluster Readiness Engine は、クラスターのバーンインテストと認定、ベンチマークのオーケストレーション、ハードウェア障害の検出をサポートします。 NVIDIA Fleet Intelligence は、GPU フリートの健全性と完全性に関するインサイトをリアルタイムで提供します。 NVIDIA NVSentinel は、Kubernetes ネイティブの GPU 監視と障害修復をサポートします。
実装ガイド、クイック スタート、リファレンスデザイン、オープンソース プロジェクトへのリンクは、NVIDIA DSX のドキュメントに記載されています。