IA física
NVIDIA Cosmos
Una plataforma abierta de vanguardia para crear, especializar e implementar modelos de mundo más rápido para la IA física.
Modelos de mundo básicos
Crear con Cosmos 3
La familia de omnimodelos de frontera para la IA física con razonamiento nativo, simulación de mundo y generación de acciones. Basado en la mezcla de transformadores para lograr una precisión de primer nivel.
Razonar y analizar
Utilícelo como modelo de lenguaje de visión (VLM) para razonar sobre objetos, interacciones e intenciones en escenarios complejos del mundo real.
Cuenta con alertas en tiempo real y generación de subtítulos de alta densidad en inspección de calidad, seguridad pública, supervisión del tráfico, logística y conducción autónoma.
Cree modelos especializados
Acelerar el aprendizaje de políticas de robots con NVIDIA Cosmos 3 como pilar para los modelos de acción mundiales (WAM).
Haga el posentrenamiento del modelo básico de mundo generalizado utilizando datos específicos de cámara y de materialización. El modelo de políticas adapta a escala las acciones aprendidas previamente a tareas, dominios y comportamientos específicos.
Simular mundos
Ejecute como un simulador de mundo controlable y fundamentado en la física para predecir estados del mundo en una sola vista o varias vistas, evaluar resultados en un bucle cerrado y converger en el comportamiento correcto.
Redimensione el bucle en diferentes entornos, tareas y condiciones para mejorar de forma continua sin riesgos en el mundo real.
Genere datos
Genere futuros infinitos y plausibles partiendo de texto, imagen, vídeo, sonido ambiental y datos de acción.
Emplee la generación de vídeo como fuente de inspiración para entrenar la IA física sin estar limitado por lo que se ha capturado físicamente.
Plataforma
Cree su propio modelo de mundo
Datos abiertos, marcos de entrenamiento e implementación optimizada para crear modelos de mundo de frontera más rápido.
-
Ciencia
-
Cree e implemente
Casos de uso
Cómo Cosmos acelera la IA en todos los sectores
-
Entrenamiento de vehículos autónomos
-
Aprendizaje de robots
-
Agentes de IA para análisis de video
Entrenamiento de vehículos autónomos
Genere datos de sensores personalizados, diversos y de alta fidelidad para entrenar, probar y validar vehículos autónomos de forma segura.
- Incremente la diversidad de datos existentes con nuevos datos meteorológicos, de iluminación y de geolocalización
- Posentrene para ampliar a vistas multisensor
- Cree una canalización de aumento y evaluación de datos sintéticos de extremo a extremo mediante las habilidades de agentes basadas en Cosmos
Aprendizaje de robots
Cree un conjunto de políticas de aprendizaje de robots que permita a los agentes materializados operar en entornos del mundo real en condiciones visibles e invisibles.
- Posentrene Cosmos 3 en función de tareas específicas de cada materialización, entornos, configuraciones de cámaras o sensores y políticas
- Ejecute simulaciones de bucle cerrado físicamente precisas
- Cree una canalización de aumento y evaluación de datos sintéticos de extremo a extremo mediante las habilidades de agentes basadas en Cosmos
Agentes de IA para análisis de video
Mejore la automatización, la seguridad y la eficiencia operativa tanto en entornos industriales como en urbanos.
Con Cosmos, los agentes de IA pueden analizar, resumir e interactuar con transmisiones de vídeo en tiempo real o grabadas para:
- Envíe alertas contextuales en tiempo real
- Interactúe con sus vídeos y extraiga información de las señales de cámaras en directo o de las bibliotecas de vídeo a gran escala
- Cree agentes de IA de análisis de vídeo con NVIDIA Metropolis Blueprint para la búsqueda y el resumen de vídeo
- Genere datos de entrenamiento sintéticos para potenciar aún más la precisión de comprensión
Rendimiento
Se ejecuta mejor en la IA de NVIDIA
Cosmos 3 está optimizado para proporcionar el mejor rendimiento en el hardware de NVIDIA. Los servidores de la serie NVIDIA RTX PRO™ 6000 Blackwell aceleran el desarrollo de la IA física para robots, vehículos autónomos y agentes de IA en el entrenamiento, la generación de datos sintéticos, la simulación y la inferencia.
Libere el rendimiento máximo para los modelos fundamentales de Cosmos en NVIDIA Blackwell GB200 para cargas de trabajo industriales posteriores al entrenamiento e inferencia.
Ecosistema
Adoptado por los principales innovadores en el campo de la IA física
Los desarrolladores de modelos de los sectores de la robótica, los vehículos autónomos y la visión artificial utilizan Cosmos para acelerar el desarrollo de la IA física.
Próximos pasos
Recursos
Lo último de los desarrolladores de Cosmos
-
Últimas noticias
-
Keynotes
-
Livestreams
-
Sessions
-
Démos
Preguntas frecuentes
NVIDIA Cosmos es una plataforma abierta para crear modelos mundiales, con modelos de base de mundo de vanguardia, conjuntos de datos abiertos, marcos de entrenamiento y optimización, y blueprints de procesamiento y generación de datos en todo el ciclo de vida de desarrollo.
Cosmos 3 se basa en la arquitectura de mezcla de transformadores (Mixture of Transformers). Los módulos de razonamiento y generador utilizan diferentes transformadores para lograr una generación y un rendimiento de alta eficiencia. Por lo tanto, el modelo primero razona y luego genera, lo cual se traduce en una precisión física puntera en todas las funciones. Más información sobre la arquitectura aquí.
Los WFM de Cosmos están disponibles con una licencia de modelo abierto de NVIDIA para todos.
Cosmos 3 está disponible de forma abierta con scripts de posentrenamiento en GitHub para cada modalidad y módulo. Además, NVIDIA TAO 7 brinda un conjunto de habilidades y herramientas de agentes para ajustar con precisión los modelos de IA de visión, incluido Cosmos 3, con agentes de codificación e indicaciones de lenguaje natural.
Sí, puede aprovechar Cosmos para crear desde cero con su modelo básico o arquitectura de modelos preferidos. Puede empezar por utilizar Cosmos Curator para el preprocesamiento de datos de vídeo. Luego comprima y descodifique sus datos con el tokenizador Cosmos. Una vez que haya procesado los datos, podrá entrenar o perfeccionar su modelo.
Utilizando los microservicios NVIDIA NIM™, puede integrar fácilmente sus modelos de IA física en sus aplicaciones en la nube, los centros de datos y las estaciones de trabajo.
También puede utilizar NVIDIA DGX Cloud para entrenar modelos de IA e implementarlos a escala en cualquier lugar.
Cosmos 3 es un omnimodelo que puede generar texto, imagen, vídeo, sonido y acción. Mientras que Cosmos 2.5 y Cosmos 2 mantuvieron la percepción y la generación como modelos independientes, y las modalidades se limitaban a texto, imagen y vídeo.
Omniverse crea simulaciones 3D realistas de tareas del mundo real utilizando diferentes API generativas, SDK y la tecnología de renderizado NVIDIA RTX.
Los desarrolladores pueden introducir simulaciones de Omniverse como vídeos de instrucciones en modelos de Cosmos Transfer para generar datos sintéticos fotorrealistas y controlables.
En conjunto, Omniverse proporciona el entorno de simulación antes y después del entrenamiento, mientras que Cosmos provee los modelos básicos para generar datos de vídeo y entrenar modelos de IA física.
Más información sobre NVIDIA Omniverse.