Physische KI
NVIDIA Cosmos
Eine offene Frontier-Plattform, um Weltmodelle für physische KI schneller zu entwickeln, zu spezialisieren und bereitzustellen.
World-Foundation-Modelle
Auf Cosmos 3 aufbauen
Die Frontier-Omni-Modell-Familie für physische KI mit nativem Reasoning, Weltsimulation und Handlungsgenerierung. Basierend auf Mixture-of-Transformers für Spitzenwerte bei der Genauigkeit.
Schlussfolgern und Analysieren
Nutzen Sie es als Vision-Language-Modell (VLM), um über Objekte, Interaktionen und Absichten in komplexen realen Szenarien logisch zu schlussfolgern.
Bietet Echtzeitwarnungen und Dense Captioning in den Bereichen Qualitätsprüfung, öffentliche Sicherheit, Verkehrsüberwachung, Logistik und autonomes Fahren.
Spezialisierte Modelle entwickeln
Beschleunigen Sie das Roboter-Policy-Learning mit NVIDIA Cosmos™ 3 als Rückgrat für World Action Models (WAMs).
Trainieren Sie das generalisierte World Foundation Model mit spezialisierten Kamera- und Verkörperungsdaten nach. Das Richtlinienmodell passt vorgelernte Handlungen an bestimmte Aufgaben, Bereiche und Verhaltensweisen in großem Maßstab an.
Welten simulieren
Führen Sie es als steuerbaren, physikbasierten Weltsimulator aus, um Weltzustände in Single-View oder Multi-View vorherzusagen, die Ergebnisse in einem geschlossenen Regelkreis zu bewerten und das richtige Verhalten zu erreichen.
Skalieren Sie den Kreislauf über Umgebungen, Aufgaben und Bedingungen hinweg – für eine kontinuierliche Verbesserung, ohne dass Risiken in der realen Welt auftreten.
Daten generieren
Generieren Sie unendlich viele plausible Zukünfte aus Text, Bild, Video, Umgebungssound und Handlungsinputs.
Nutzen Sie die Videogenerierung als Imagination, um physische KI zu trainieren, ohne durch das eingeschränkt zu sein, was physisch erfasst wurde.
Plattform
Entwickeln Sie Ihr eigenes Weltmodell
Offene Daten, Trainingsframeworks und optimierte Bereitstellung für die schnellere Entwicklung von Frontier-Weltmodellen.
-
Daten
-
Entwickeln und bereitstellen
Anwendungsbeispiele
Wie Cosmos KI in verschiedenen Branchen beschleunigt
-
Training für autonome Fahrzeuge
-
Roboterlernen
-
Videoanalyse-KI-Agenten
Training für autonome Fahrzeuge
Generieren Sie benutzerdefinierte, vielfältige und hochpräzise Sensordaten, um autonome Fahrzeuge sicher zu trainieren, zu testen und zu validieren.
- Bestehende Datenvielfalt mit neuen Wetter-, Beleuchtungs- und Geolokalisierungsdaten erweitern
- Nachtrainieren, um Multi-Sensor-Ansichten zu erweitern
- Erstellen Sie eine End-to-End-Pipeline für die Augmentation und Bewertung synthetischer Daten mit Agentenfähigkeiten auf Basis von Cosmos
Roboterlernen
Entwickeln Sie eine Richtlinie für das Roboterlernen, die es verkörperten Agenten ermöglicht, in realen Umgebungen sowohl unter sichtbaren als auch unter unsichtbaren Bedingungen zu arbeiten.
- Trainieren Sie Cosmos 3 für verkörperungsspezifische Aufgaben, Umgebungen, Kamera- oder Sensor-Layouts und Richtlinien nach.
- Führen Sie physikalisch genaue Closed-Loop-Simulationen aus.
- Erstellen Sie eine End-to-End-Pipeline für die Augmentation und Bewertung synthetischer Daten mit Agentenfähigkeiten auf Basis von Cosmos
Videoanalyse-KI-Agenten
Verbessern Sie Automatisierung, Sicherheit und betriebliche Effizienz in industriellen und städtischen Umgebungen.
Mit Cosmos können KI-Agenten Echtzeit- oder aufgezeichnete Videostreams analysieren, zusammenfassen und mit ihnen interagieren, um:
- kontextbezogene Warnungen in Echtzeit zu liefern
- mit Ihren Videos zu sprechen und Erkenntnisse aus Live-Kamera-Feeds oder umfangreichen Videobibliotheken zu extrahieren
- KI-Agenten für die Videoanalyse mit NVIDIA Metropolis Blueprint für die Videosuche und Zusammenfassung zu entwickeln
- synthetische Trainingsdaten zu generieren, um die Genauigkeit des Verständnisses weiter zu verbessern
Leistung
Funktioniert am besten mit NVIDIA AI
Cosmos 3 erzielt die beste Leistung auf NVIDIA-Hardware. Die Server der NVIDIA RTX PRO™ 6000 Blackwell-Serie beschleunigen die Entwicklung physischer KI für Roboter, autonome Fahrzeuge und KI-Agenten – ob beim Trainieren, Generieren synthetischer Daten, Simulieren oder Inferenzieren.
Nutzen Sie Spitzenleistung für Cosmos-World-Foundation-Modelle auf NVIDIA Blackwell GB200 für industrielles Nachtrainieren und Inferenz-Workloads.
Ökosystem
Genutzt von führenden Innovatoren auf dem Gebiet der physischen KI
Modellentwickler aus den Bereichen Robotik, autonome Fahrzeuge und Vision-KI nutzen Cosmos, um die Entwicklung physischer KI zu beschleunigen.
Next Steps
Ressourcen
Das Neueste von Cosmos-Entwicklern
-
Aktuelle Neuigkeiten
-
Keynotes
-
Livestreams
-
Sessions
-
Demos
Häufig gestellte Fragen
NVIDIA Cosmos ist eine offene Plattform für die Entwicklung von Weltmodellen mit Frontier-World-Foundation-Modellen, offenen Datensätzen, Trainings- und Optimierungsframeworks sowie Blueprints für die Datenverarbeitung und -generierung über den gesamten Entwicklungslebenszyklus hinweg.
Cosmos 3 basiert auf der Mixture-of-Transformers-Architektur. Reasoning- und Generator-Module nutzen verschiedene Transformers für effiziente Generierung und Leistung. Das Modell denkt daher zuerst und generiert dann, was zu einer führenden physikalischen Genauigkeit in allen Funktionen führt. Erfahren Sie hier mehr über die Architektur.
Cosmos WFMs sind unter einer NVIDIA Open-Model-Lizenz für alle verfügbar.
Cosmos 3 ist mit Skripten für das Nachtrainieren auf GitHub für jede Modalität und jedes Modul frei verfügbar. Darüber hinaus bietet NVIDIA TAO 7 eine Suite von Agenten-Fähigkeiten und Tools für die Feinabstimmung von Vision-KI-Modellen, einschließlich Cosmos 3, mit Programmieragenten und Prompts für natürliche Sprache.
Ja, Sie können Cosmos verwenden, um mit Ihrem bevorzugten Foundation-Modell oder Ihrer Modellarchitektur Modelle von Grund auf neu zu erstellen. Sie können zunächst Cosmos Curator für die Vorverarbeitung von Videodaten verwenden. Anschließend komprimieren und dekodieren Sie Ihre Daten mit Cosmos Tokenizer. Sobald Sie die Daten verarbeitet haben, können Sie Ihr Modell trainieren oder feinabstimmen.
Mit NVIDIA NIM™ Microservices können Sie Ihre physischen KI-Modelle einfach in Ihre Anwendungen integrieren, die sich über Cloud, Rechenzentren und Workstations erstrecken.
Sie können NVIDIA DGX Cloud auch nutzen, um KI-Modelle zu trainieren und sie überall in großem Maßstab bereitzustellen.
Cosmos 3 ist ein Omni-Modell, das über Text, Bild, Video, Sound und Handlung hinweg generieren kann. Während Cosmos 2.5 und Cosmos 2 Wahrnehmung und Generierung als separate Modelle beibehielten, waren die Modalitäten auf Text, Bild und Video beschränkt.
Omniverse erstellt mit verschiedenen generativen APIs, SDKs und NVIDIA RTX-Rendering-Technik realistische 3D-Simulationen von Aufgaben in der realen Welt.
Entwickler können Omniverse-Simulationen als Anleitungsvideos in Cosmos Transfer-Modelle eingeben, um kontrollierbare, fotorealistische synthetische Daten zu generieren.
Zusammen stellt Omniverse die Simulationsumgebung vor und nach dem Training bereit, während Cosmos die Foundation-Modelle für die Generierung von Videodaten und das Trainieren von Modellen für physische KI bereitstellt.
Erfahren Sie mehr über NVIDIA Omniverse.