NVIDIA DSX OS
AI 팩토리 운영을 위한 오픈 모듈형 소프트웨어.
개요
AI 팩토리를 위한 운영 계층
AI 팩토리를 프로덕션으로 도입하려면 인프라 및 플랫폼 팀이 하드웨어 프로비저닝, 네트워킹, 쿠버네티스, GPU 관리, 워크로드 스케줄링, 추론 서비스, 보안, 모니터링, 복구를 연결해야 합니다. 각 계층을 별도로 구축 및 운영하면 배포가 느려질 수 있으며, 귀중한 용량이 활용되지 않으며, 오류를 해결하기가 더 어려워질 수 있습니다.
NVIDIA DSX OS™는 오픈 모듈형 소프트웨어 포트폴리오를 통해 이러한 기능을 함께 제공합니다. 이를 통해 운영자는 인프라를 온라인으로 가져오고, 일관된 런타임을 유지하며, GPU 활용도를 개선하며, 플릿 상태를 자동화하며, 대규모 환경에서 프로덕션 AI 서비스를 안정적으로 제공할 수 있습니다.
즉각적인 요구 사항을 해결하는 구성 요소를 도입하고, 기존 환경과 통합하며, 인프라와 서비스가 성장함에 따라 확장합니다.
주요 기능
AI 팩토리 운영을 위한 오픈 모듈형 소프트웨어 포트폴리오
DSX OS는 가속 인프라를 온라인으로 전환하고, AI 워크로드를 실행하며, 운영 2일 차 작업을 통해 생산 역량을 유지하기 위한 모듈형 기능을 제공합니다.
장점
AI 팩토리 운영의 경제성 개선
DSX OS는 공급업체가 인프라를 더 빠르게 온라인으로 전환하고, 가속 용량의 생산적인 사용을 높이며, 멀티 테넌트 환경 전반에서 AI 서비스를 안정적으로 운영할 수 있도록 지원합니다.
수익 창출 시간 가속화
모든 환경에 대해 기본 운영 기능을 재구축하는 대신 모듈형 인프라 및 플랫폼 소프트웨어를 재사용합니다.
클러스터를 온라인으로 전환하고, 준비 상태를 검증하며, AI 서비스 제공을 더 빠르게 시작합니다.
GPU 용량을 더 생산적으로 활용
지능형 스케줄링, 리소스 할당, 토폴로지 인식 배치, 서비스 오케스트레이션을 통해 GPU 용량을 워크로드 수요에 맞게 맞추세요.
신뢰성과 복원력 향상
런타임 일관성을 유지하고, 플릿 상태를 모니터링하며, 오류를 식별하고, 워크로드를 보호하고, 해결을 자동화하며, 영향을 받은 용량을 다시 서비스에 투입합니다.
운영을 사후 대응형 알림에서 자동화된 상태 및 복구 라이프사이클로 전환
보안 멀티 테넌트 운영 확장
테넌트와 클러스터 전반에서 인프라 라이프사이클을 관리하고, 플랫폼 무결성을 검증하며, 리소스를 오케스트레이트하고, AI 서비스를 제공합니다.
운영 요구 사항이 증가함에 따라 개별 구성 요소를 도입하거나 기능을 결합합니다.
시작 옵션
AI 팩토리에 필요한 기능으로 시작합니다
DSX OS는 점진적인 도입을 위해 설계되었습니다. 집중된 운영 요구 사항으로 시작하고 시간이 지남에 따라 확장합니다.
다음 단계
FAQ
NVIDIA DSX OS™는 멀티 테넌트 AI 팩토리 인프라를 구축, 운영 및 확장하기 위한 오픈 모듈형 소프트웨어 포트폴리오입니다. 여기에는 플랫폼 및 인프라 운영을 위한 오픈 소스 구성 요소와 관련 NVIDIA 기술이 포함되어 있습니다.
AI 팩토리를 프로덕션으로 도입하려면 인프라 및 플랫폼 팀이 하드웨어 프로비저닝, 네트워킹, 쿠버네티스, GPU 관리, 워크로드 스케줄링, 추론 서비스, 보안, 모니터링, 복구를 조정해야 합니다. 이러한 계층을 별도로 운영하면 배포가 느려지고, 용량이 충분히 활용되지 않으며, 오류 복구가 복잡해질 수 있습니다. DSX OS는 기존 플랫폼 및 소프트웨어 스택에 통합될 수 있는 모듈형 기술을 제공합니다.
DSX OS는 모듈형이며 점진적인 도입을 위해 설계되었습니다. 조직은 즉각적인 운영 요구 사항을 해결하는 구성 요소로 시작하고, 이를 기존 소프트웨어 스택과 통합하며, 인프라와 서비스가 성장함에 따라 기능을 추가할 수 있습니다.
DSX OS 플랫폼 소프트웨어에는 KAI Scheduler, Karta, NVIDIA Run:ai, NVIDIA Cloud Functions(NVCF), Grove, NVIDIA Dynamo가 포함되어 있습니다. 이러한 구성 요소는 워크로드 스케줄링 및 GPU 오케스트레이션, 서비스 오케스트레이션, 분산 추론을 지원합니다.
DSX OS 인프라 소프트웨어에는 NVIDIA GPU 운영자, NVIDIA 네트워크 운영자, Topograph, NVIDIA AI 클러스터 런타임, NVIDIA Infra Controller(NICo), NVIDIA DOCA 플랫폼 프레임워크(DPF), NVIDIA 스위치 인프라 - Config Manager, NVIDIA 랙 관리 서비스가 포함되어 있습니다. 이러한 구성 요소는 함께 클러스터 런타임, 토폴로지 인식, 베어 메탈 프로비저닝, 멀티 테넌트 라이프사이클 운영, 랙 및 네트워크 인프라 관리를 지원합니다.
NVIDIA 클러스터 준비 엔진은 클러스터 번인 인증, 오케스트레이션된 벤치마킹, 하드웨어 오류 감지를 지원합니다. NVIDIA Fleet Intelligence는 GPU 플릿 상태 및 무결성에 대한 실시간 인사이트를 제공합니다. NVIDIA NVSentinel은 쿠버네티스 네이티브 GPU 모니터링과 오류 해결 기능을 제공합니다.
NVIDIA DSX 문서에서 구현 지침, 빠른 시작, 레퍼런스 설계, 오픈 소스 프로젝트에 대한 링크를 확인할 수 있습니다.