Cosmos 3
Cosmos 3 기반 개발
추론, 월드 시뮬레이션 및 행동 생성을 기본 지원하는 피지컬 AI용 최첨단 옴니 모델 제품군입니다. 트랜스포머 혼합 아키텍처를 기반으로 리더보드 최상위 수준의 정확도를 제공합니다.
추론 및 분석
비전 언어 모델(VLM)로 활용하여 복잡한 실제 시나리오 전반에서 객체, 상호작용, 의도를 추론하세요.
품질 검사, 공공 안전, 교통 모니터링, 물류 및 자율주행 전반에서 실시간 알림과 상세 캡셔닝을 제공합니다.
특화 모델 구축
Cosmos 3를 월드 행동 모델(WAM)의 백본으로 사용하여 로봇 정책 학습을 가속화하세요.
특수 카메라와 임보디먼트 데이터를 기반으로 일반화된 월드 파운데이션 모델을 포스트 트레이닝하세요. 정책 모델은 사전 학습된 동작을 특정 작업, 도메인 및 행동에 맞게 대규모로 조정합니다.
월드 시뮬레이션
제어 가능하고 물리 법칙에 기반한 월드 시뮬레이터로 실행하여 단일 또는 다중 시점의 세계 상태를 예측하고, 폐루프에서 결과를 평가하며 올바른 동작으로 수렴시킵니다.
환경, 작업, 조건 전반으로 루프를 확장하여 실제 환경의 위험 없이 지속적으로 개선하세요.
합성 비디오 데이터 확장
텍스트, 이미지, 영상, 주변 사운드 및 동작 입력으로부터 무한한 그럴듯한 미래를 생성하세요.
물리적으로 캡처된 내용에 구애받지 않고 영상 생성을 상상력으로 사용하여 피지컬 AI를 학습하세요.
시작 옵션
나만의 월드 모델 구축
최첨단 월드 모델을 더 빠르게 구축하기 위한 오픈 데이터, 학습 프레임워크 및 최적화된 배포를 제공합니다.
-
Data
-
구축 및 배포
사용 사례
Cosmos가 다양한 산업에서 AI 혁신을 가속하는 방법
-
자율주행차 학습
-
로봇 학습
-
영상 분석 AI 에이전트
자율주행차 학습
자율주행차를 안전하게 학습, 테스트하며, 검증하기 위해 다양한 고품질 센서 데이터를 맞춤형으로 생성하세요.
- 새로운 날씨, 조명, 지리 위치 데이터를 통해 기존 데이터 다양성 증폭
- 멀티 센서 뷰로 확장하기 위한 사후 학습
- Cosmos를 기반으로 구축된 에이전트 기술을 사용하여 엔드 투 엔드 합성 데이터 증강 및 평가 파이프라인을 구축
로봇 학습
구체화된 에이전트가 확인된 조건과 확인되지 않은 조건 모두에서 실제 환경에서 작동할 수 있도록 하는 로봇 학습 정책을 구축하세요.
- 구체화 중심의 작업, 환경, 카메라 또는 센서 레이아웃 및 정책에 대해 Cosmos 3를 포스트 학습시키세요.
- 물리적으로 정확한 폐쇄 루프 시뮬레이션 실행
- Cosmos를 기반으로 구축된 에이전트 기술을 사용하여 엔드 투 엔드 합성 데이터 증강 및 평가 파이프라인을 구축
영상 분석 AI 에이전트
산업 및 도시 환경 전반에서 자동화와 안전, 운영 효율성을 향상시킵니다.
Cosmos를 통해 AI 에이전트는 실시간 또는 녹화된 영상 스트림을 분석 및 요약하고 상호작용함으로써 다음을 수행할 수 있습니다.
- 실시간 컨텍스트 알림 제공
- 비디오와 대화하고 라이브 카메라 피드 또는 대규모 비디오 라이브러리에서 인사이트를 추출하세요
- 비디오 검색 및 요약을 위한 NVIDIA Metropolis Blueprint로 비디오 분석 AI 에이전트 구축
- 합성 학습 데이터 생성을 통해 이해 정확도 향상
성능
NVIDIA AI에서 최고 수준으로 실행됨
Cosmos 3는 NVIDIA 하드웨어에서 최고의 성능을 제공하도록 최적화되었습니다. NVIDIA RTX PRO 6000 Blackwell 시리즈 서버는 학습, 합성 데이터 생성, 시뮬레이션, 추론 전반에서 로봇, 자율주행차, AI 에이전트를 위한 피지컬 AI 개발을 가속화합니다.
NVIDIA Blackwell GB200에서 Cosmos 월드 파운데이션 모델의 최고 성능을 발휘하여 산업 사후 훈련 및 추론 워크로드를 처리할 수 있습니다.
에코시스템
주요 피지컬 AI 혁신 기업들이 채택한 솔루션
로보틱스, 자율주행, 비전 AI 분야의 모델 개발자들이 Cosmos를 활용해 피지컬 AI 개발을 가속화하고 있습니다.
다음 단계
자주 묻는 질문
NVIDIA Cosmos는 개발 수명 주기 전반에 걸쳐 최첨단 월드 파운데이션 모델, 오픈 데이터셋, 학습 및 최적화 프레임워크, 데이터 처리 및 생성 블루프린트를 제공하는 월드 모델 구축용 오픈 플랫폼입니다.
Cosmos 3는 Mixture of Transformers 아키텍처를 기반으로 구축되었습니다. 추론 및 생성기 모듈은 효율적인 생성과 성능을 위해 서로 다른 트랜스포머를 사용합니다. 따라서 모델은 먼저 추론한 다음 생성하여 기능 전반에 걸쳐 최고의 물리학 정확도를 제공합니다. 여기에서 아키텍처에 대해 자세히 알아보세요.
Cosmos WFM은 NVIDIA 오픈 모델 라이선스를 통해 모든 사람이 사용할 수 있습니다.
Cosmos 3는 GitHub에서 각 모달리티와 모듈에 대한 포스트 학습 스크립트와 함께 공개적으로 사용할 수 있습니다. 또한 NVIDIA TAO 7은 코딩 에이전트와 자연어 프롬프트로 Cosmos 3를 포함한 비전 AI 모델을 미세 조정하기 위한 에이전트 스킬과 도구 제품군을 제공합니다. GitHub에서 TAO 7 에이전트 스킬과 도구를 다운로드하세요.
예, Cosmos를 활용하여 선호하는 파운데이션 모델 또는 모델 아키텍처를 기반으로 처음부터 구축할 수 있습니다. Cosmos Curator를 사용하여 먼저 비디오 데이터 전처리 작업을 합니다. 그런 다음 Cosmos 토크나이저를 사용하여 데이터를 압축하고 디코딩합니다. 데이터를 처리를 마친 후에는 모델을 학습시키거나 파인 튜닝할 수 있습니다.
NVIDIA NIM™ 마이크로서비스를 사용하면 클라우드, 데이터센터, 워크스테이션 등 다양한 환경에서 애플리케이션에 피지컬 AI 모델을 쉽게 통합할 수 있습니다.
NVIDIA DGX Cloud를 사용하여 AI 모델을 훈련하고 어디서나 대규모로 배포할 수 있습니다.
Cosmos 3는 텍스트, 이미지, 영상, 사운드 및 동작 전반을 생성할 수 있는 옴니 모델입니다. Cosmos 2.5 및 Cosmos 2는 인식과 생성을 별도의 모델로 유지했으며 모달리티가 텍스트, 이미지, 영상으로 제한되었습니다.
Omniverse는 다양한 생성형 API, SDK 및 NVIDIA RTX 렌더링 기술을 사용하여 실제 작업에 대한 사실적인 3D 시뮬레이션을 생성합니다.
개발자는 Omniverse 시뮬레이션을 인스트럭션 영상으로 Cosmos Transfer 모델에 입력해 제어 가능하고 사진처럼 현실적인 합성 데이터를 생성할 수 있습니다.
Omniverse는 학습 전후의 시뮬레이션 환경을 제공하며, Cosmos는 비디오 데이터를 생성하고 피지컬 AI 모델을 학습시키는 파운데이션 모델을 제공합니다.
NVIDIA Omniverse에 대해 자세히 알아보세요.