加速開發先進人工智慧機器人。
技術執行
NVIDIA 正在開發加速系統、藍圖、工具、服務、演算法和其他機器人技術,可用於打造一般用途、人類外型規格的機器人。
人形機器人必須在特定環境中自動感知、規劃和行動,而這涉及了即時處理大量資料。 這需要訓練基礎模型,為機器人大腦提供動力、模擬和驗證機器人大腦,最終將這些大腦和相關軟體部署到實際的機器人上。
三種 AI 系統為:
NVIDIA Isaac GR00T 是一款專為通用型人形機器人設計的開放式參考平台,讓開發人員能夠建置、訓練、測試並部署採用 AI 技術的機器人。
人形機器人需要多樣化技能才能勝任不同的任務,傳統上,必須個別建置成本高昂的 AI 模型。機器人基礎模型透過廣泛的資料訓練,培養通用技能,解決了這項問題。這樣一來,機器人便能因應不同的任務與環境。
Isaac GR00T 開放基礎模型非常適合用於通用型人形機器人的推理與技能。這種跨具身解決方案可接收多模態輸入——包括語言與影像——並在多樣化環境中執行操作任務。
這些模型在龐大的人形機器人資料集上進行訓練,資料來源包括真實採集資料、合成資料以及網路規模的影片資料。這些模型也可以透過後期訓練進行調整,靈活適應特定型態、任務與環境。
Isaac GR00T 模型能輕易在常見任務之間進行泛化——例如抓取物體、單手或雙手搬運物品,以及將物品在雙手之間轉移——或執行需要長情境與多種通用技能組合的多步驟任務。這些能力可應用於各種使用情境,包括物料搬運、包裝與檢測。
對於開發人員而言,在將人形機器人部署到現實世界之前,模擬是在各種物理精準環境與條件下訓練人形機器人的關鍵。
NVIDIA Isaac Sim 與 Isaac Lab 這類以 Omniverse 平台為建置基礎的機器人學習與模擬框架,可實現符合物理定律的模擬環境,同時訓練及驗證多個人形機器人代理。
Isaac Lab 是一款基於 Isaac Sim 的開放原始碼整合式機器人學習框架,可用於將學習技術應用於訓練機器人原則。訓練完成的機器人策略可在 Isaac Sim 中進行驗證,Isaac Sim 是一款用於建構、模擬與測試人形機器人的參考應用程式,其運作環境為具物理基礎的虛擬空間。
機器人硬體也是執行多模態 AI 模型組合的關鍵,這些模型可在各種條件環境中,為人形機器人提供適當的效能、延遲和功能安全。
NVIDIA Jetson AGX Thor 採用 NVIDIA Blackwell GPU 架構,提供超高效能 AI 運算和全新的 Transformer 引擎。這提供了邊緣運算所需要的 AI 超能力,讓新一代的人形機器人得以問世。
快速連結
與我們的人形機器人合作夥伴展開合作。
立即開始
透過存取教學課程、論壇、版本說明和全方位的文件,利用 GR00T 基礎技術推展人形機器人的開發。
人形機器人專為在以人為中心的空間工作而設計,在工廠、倉庫、醫院與零售環境中承擔繁瑣、重複性或耗費大量體力的任務。短期內,這包括物料搬運、物品抓取與放置、機台操作、基礎檢測,以及協助工人進行舉起、搬運或運送貨物等工作。
NVIDIA Isaac 技術提供一套端到端堆疊,用於訓練、模擬與部署人形機器人的「大腦」。這包括存取 Isaac GR00T 開放模型,進行通用推理能力。開發人員也可利用開源機器人學習框架 Isaac Lab,快速迭代、跨機器人形態重用技能,並在部署至硬體前在 Isaac Sim 中驗證策略。
模擬讓團隊能在實際部署之前,於實際設施的數位孿生環境中訓練與測試人形機器人,從而在不危及人員、設備或機器人的情況下,評估其行為、邊緣情境與失效模式。這種優先模擬的方法可減少對昂貴物理原型與大規模現場測試的需求,有助於及早發現整合問題並縮短部署週期。
NVIDIA 的平台專為解決機器人資料缺口而打造,透過結合有限的真實世界示範與大規模合成資料及模擬環境。開發人員可透過開源 Isaac Lab 框架與 Isaac Sim,生成大量具備照片般逼真的訓練資料。此外,GR00T-Dreams 等這類藍圖利用 Cosmos 世界基礎模型,能根據簡單指令生成全新的合成軌跡資料,協助在不需要大量真實世界資料的情況下初始化策略模型。
人形機器人需要強大的內建運算能力,在不依賴雲端連線的情況下處理多模態資料,並確保功能安全。NVIDIA Jetson AGX Thor(基於 Blackwell 架構)正是為此角色而設計,提供能直接在機器人端執行 生成式 AI 與基礎模型所需的 AI 效能與低延遲。這使機器人能在多樣化的真實環境中自主感知、規劃並採取動作。
快速連結
NVIDIA RTX PRO 伺服器加速所有工業數位化、機器人模擬與合成資料生成的工作負載。