Cosmos 3
以 Cosmos 3 為基礎打造
適用於物理 AI 的前沿全模態模型系列，原生支援推理、世界模擬與動作生成。以混合 Transformer 架構打造，提供名列排行榜前茅的準確度。
推理與分析
作為視覺語言模型 (VLM)，在複雜的真實世界情境中針對物件、互動與意圖進行推理。
在品質檢測、公共安全、交通監控、物流及自動駕駛等領域，提供即時警示與密集描述。
打造專業模型
將 Cosmos 3 當作世界行動模型 (WAM) 的骨幹，加快機器人學習策略的速度。
在專用攝影機與具體資料上，針對廣義世界基礎模型進行後期訓練。策略模型會根據特定任務、領域與行為，大規模調整預先學習的動作。
模擬世界
作為可控制、以物理為基礎的世界模擬器執行，預測單一視角或多視角的世界狀態，在閉迴路中評估結果，並逐步收斂至正確行為。
將迴圈擴展至不同環境、任務與條件，持續改善，同時避免真實世界的風險。
大規模合成影片資料
從文字、影像、影片、環境聲音與動作輸入中，產生無限個合理的未來景象。
運用影片生成技術，發揮想像力訓練物理 AI，不受實際拍攝內容限制。
入門選項
打造自己的世界模型
以開放資料、訓練框架及最佳化部署，更快速地打造前沿世界模型。
-
資料
-
建構與部署
使用案例
Cosmos 如何在各行各業加速 AI
-
自駕車訓練
-
機器人學習
-
影像分析 AI 代理
自駕車訓練
產生自訂、多樣化且高擬真的感測器資料，以安全的方式訓練、測試與驗證自駕車。
- 利用新的天氣、光線與地理位置資料，擴大現有資料的多樣性
- 使用後期訓練將視野擴展至多感測器視角
- 利用 Cosmos 上的代理技能，建立端到端合成資料增強與評估流程
機器人學習
建立機器人學習策略，讓具體代理程式能在真實環境中的已知與未知條件下運作。
- 針對具體任務、環境、攝影機或感測器佈局以及策略，對 Cosmos 3 進行後期訓練
- 執行符合物理定律的精準封閉迴圈模擬
- 利用 Cosmos 上的代理技能，建立端到端合成資料增強與評估流程
影像分析 AI 代理
在工業與城市環境中強化自動化、安全與營運效率。
有了 Cosmos，AI 代理程式可分析、總結並與即時或錄製的影片串流互動，以便：
- 提供即時情境警示
- 與影片對話，並從即時攝影機畫面或大型影片資源庫中擷取深入解析
- 利用 NVIDIA Metropolis Blueprint 打造有影片搜尋與摘要功能的影片分析 AI 代理程式
- 產生合成訓練資料，進一步提升理解準確度
效能
在 NVIDIA AI 上執行效果最佳
Cosmos 3 為 NVIDIA 硬體進行最佳化，藉此發揮最佳效能。NVIDIA RTX PRO 6000 Blackwell 系列伺服器，加速機器人、自駕車與 AI 代理的物理 AI 技術開發，涵蓋訓練、合成資料生成、模擬與推論等環節。
針對工業後期訓練與推論工作負載，在 NVIDIA Blackwell GB200 讓 Cosmos 世界基礎模型發揮最佳效能。
生態系
深受頂尖物理 AI 創新者的青睞
機器人、自駕車和視覺 AI 產業的模型開發人員都使用 Cosmos 加速物理 AI 發展。
後續步驟
常見問題
NVIDIA Cosmos 是用於建構世界模型的開放平台，在整個開發生命週期提供前沿世界基礎模型、開放資料集、訓練與最佳化框架，以及資料處理與生成藍圖。
Cosmos 3 使用 Mixture of Transformers 打造而成。推理與產生器模組採用不同的 Transformer，兼顧產生效率與效能。因此，模型會先推理後產生，進而在各方面展現頂尖的物理精準度。在此處深入瞭解架構。
所有人均可透過 NVIDIA 開放式模型授權取得 Cosmos 世界基礎模型。
Cosmos 3 現已在 GitHub 上開放，並針對每種模態與模組提供後期訓練指令碼。此外，NVIDIA TAO 7 提供一套代理技能與工具，用於微調視覺 AI 模型，包括 Cosmos 3，以及程式碼代理程式與自然語言提示。在 GitHub 上下載 TAO 7 代理技能與工具。
是，您可以利用 Cosmos 使用自己偏好的基礎模型或模型架構，從頭開始建置。 您可以先使用 Cosmos Curator 進行影片資料預處理。然後利用 Cosmos 符元化工具 壓縮並解碼資料。 處理完資料後，即可訓練或微調模型。
透過 NVIDIA NIM™ 微服務，您可以輕鬆地將物理 AI 模型整合到雲端、資料中心和工作站的應用程式。
您也可以使用 NVIDIA DGX Cloud 訓練 AI 模型，並大規模部署在任何地方。
Cosmos 3 是一種 omni 模型，可跨文字、影像、影片、聲音與動作產生內容。Cosmos 2.5 與 Cosmos 2 則保留了獨立感知與產生模型與模式，且僅限於文字、影像與影片。
Omniverse 利用不同的生成 API、SDK 和 NVIDIA RTX 渲染技術，為實際任務建立逼真的 3D 模擬。
開發人員可將 Omniverse 模擬作為教學影片輸入 Cosmos Transfer 模型，生成可控的擬真合成資料。
Omniverse 提供訓練前後模擬環境，而 Cosmos 則提供基礎模型，用於生成影片資料與訓練物理 AI 模型。
深入瞭解 NVIDIA Omniverse。