IA Física
NVIDIA Cosmos
Una plataforma abierta de vanguardia para desarrollar, especializar e implementar modelos del mundo más rápido para la IA física.
Modelos Fundacionales del Mundo
Desarrolle en Cosmos 3
La familia de omnicomodelos de vanguardia para IA física con razonamiento nativo, simulación del mundo y generación de acciones. Basado en Mixture-of-Transformers para una precisión que encabeza la tabla de clasificación.
Razone y Analice
Úselo como modelo de lenguaje de visión (VLM) para razonar sobre objetos, interacciones e intención en escenarios complejos del mundo real.
Cuenta con alertas en tiempo real y subtítulos densos para la inspección de calidad, la seguridad pública, el monitoreo del tráfico, la logística y la conducción autónoma.
Desarrolle Modelos Especializados
Acelere el aprendizaje de políticas de robots con NVIDIA Cosmos™ 3 como la columna vertebral para los modelos de acción mundial (WAM).
Posentrene el modelo fundacional generalizado del mundo con datos de cámaras y personificación especializados. El modelo de políticas adapta acciones preaprendidas a tareas, dominios y comportamientos específicos a escala.
Simule Mundos
Ejecútelo como un simulador de mundos controlable y basado en la física para predecir estados del mundo con una sola vista o múltiples vistas, evaluar resultados en un bucle cerrado y converger hacia el comportamiento correcto.
Escale el bucle en todos los entornos, tareas y condiciones para mejorar continuamente sin los riesgos del mundo real.
Genere Datos
Genere futuros verosímiles a partir de texto, imágenes, video, sonido ambiental y entradas de acción.
Use la generación de video como imaginación para entrenar la IA física sin que lo limite lo que se ha capturado físicamente.
Plataforma
Desarrolle su Propio Modelo del Mundo
Datos abiertos, frameworks de entrenamiento e implementación optimizada para desarrollar modelos del mundo de vanguardia más rápido.
-
Datos
-
Desarrolle e Implemente
Casos de uso
Cómo usan NVIDIA Cosmos los desarrolladores
-
Búsqueda de video
-
Modelo de política
-
Simulación de multiverso
Búsqueda de video
Cosmos ayuda a los desarrolladores a crear conjuntos de datos personalizados para su entrenamiento de la IA. Ya sea en imágenes de carreteras nevadas para automóviles autónomos o en escenas de almacenes ocupados para robótica, Cosmos simplifica el etiquetado y la búsqueda de videos al comprender los patrones espaciales y temporales mediante la simplificación de la preparación de datos de entrenamiento.
Esto ahorra tiempo, reduce costos y ayuda a entregar modelos de IA que son altamente relevantes e impactantes para su uso en el mundo real.
Entrenamiento y evaluación del modelo de política
Los modelos fundacionales de mundo de Cosmos, finamente ajustados para la predicción de video condicionado por la acción, permiten el entrenamiento y la evaluación escalable y reproducible de modelos de políticas, que definen estrategias para sistemas de IA física, mapeando estados a acciones. Los desarrolladores utilizan estos modelos para reducir la dependencia de las pruebas de riesgo en el mundo real o simulaciones complejas para tareas como el recorrido a través de obstáculos y la manipulación de objetos. Al hacerlo, optimizan el rendimiento y garantizan la confiabilidad en aplicaciones del mundo real, como la robótica y los vehículos autónomos.
Simulación de multiverso
Con NVIDIA Omniverse, los desarrolladores pueden simular múltiples resultados de Cosmos para evaluar escenarios en tiempo real, acelerar la toma de decisiones y optimizar sistemas impulsados por IA, como la robótica y los vehículos autónomos. Juntos, Cosmos y Omniverse permiten que los modelos físicos de IA exploren todos los resultados futuros posibles, seleccionando el mejor camino para una mayor precisión y confiabilidad en entornos complejos.
Desempeño
Se Ejecuta Mejor con la IA de NVIDIA
Cosmos 3 está optimizado para ofrecer el mejor desempeño con hardware NVIDIA. Los servidores NVIDIA RTX PRO™ 6000 Serie Blackwell aceleran el desarrollo de la IA física para robots, vehículos autónomos y agentes de IA en entrenamiento, generación de datos sintéticos, simulación e inferencia.
Obtenga el máximo desempeño en los modelos base del mundo de Cosmos con NVIDIA Blackwell GB200, para cargas de trabajo industriales de posentrenamiento e inferencia.
Ecosistema
Adoptado por los principales innovadores de la IA física
Los desarrolladores de modelos de robótica, vehículos autónomos e industrias de IA de visión están utilizando Cosmos para acelerar el desarrollo de la IA física.
Próximos Pasos
Recursos
Lo Último de los Desarrolladores de Cosmos
-
Últimas Noticias
-
Presentaciones Principales
-
Transmisiones en Vivo
-
Sesiones
-
Demos
Preguntas frecuentes
NVIDIA Cosmos es una plataforma abierta para desarrollar modelos del mundo, con modelos fundacionales del mundo de vanguardia, conjuntos de datos abiertos, frameworks de entrenamiento y optimización, y blueprints de generación y procesamiento de datos en todo el ciclo de vida de desarrollo.
Cosmos 3 se basa en la arquitectura Mixture of Transformers. Los módulos de razonamiento y generadores usan diferentes transformadores para una generación y un desempeño eficientes. Por lo tanto, el modelo razona primero y luego genera, lo que resulta en una precisión física líder en todas las capacidades. Más información sobre la arquitectura aquí.
Los modelos fundacionales de mundo de Cosmos están disponibles para todos bajo una licencia de modelo abierto de NVIDIA.
Sí, Cosmos admite el ajuste fino con NeMo. Puede entrenar y ajustar finamente modelos de manera eficiente con técnicas populares como LoRA y el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF). También puede elegir PyTorch para continuar entrenando los WFM con sus propios conjuntos de datos.
Sí, puede aprovechar Cosmos para construir desde cero con el modelo fundacional o la arquitectura de modelo que prefiera. También puede empezar a utilizar NeMo Curator para el preprocesamiento de datos de video. Luego, comprima y decodifique sus datos con el tokenizador Cosmos y, una vez que haya procesado los datos, puede entrenar o ajustar su modelo con NVIDIA NeMo.
Con los microservicios NIM, puede integrar fácilmente sus modelos de IA física en sus aplicaciones en la nube, centros de datos y estaciones de trabajo.
También puede usar NVIDIA DGX Cloud para entrenar modelos de IA y desplegarlos a escala en cualquier lugar.
Cosmos 3 es un omnimodelo que puede generar en texto, imagen, video, sonido y acción. Cosmos 2.5 y Cosmos 2, en cambio, mantenían la percepción y la generación como modelos separados y las modalidades se limitaban a texto, imagen y video.
Cosmos y Cosmos Nemotron son familias de modelos de NVIDIA diseñados para procesar e interpretar imágenes del mundo físico.
Los modelos Cosmos son modelos fundacionales de mundo que se centran en predecir y generar videos sensibles la física, mediante lo cual ayudan a simular y comprender estados futuros de entornos virtuales. Por el contrario, los Cosmos Nemotron son modelos de lenguaje de visión que se especializan en consultar y resumir imágenes y videos, lo que permite a la IA interpretar y responder a datos visuales tanto físicos como virtuales.
Juntos, se complementan entre sí para permitir capacidades avanzadas de IA basadas en la comprensión visual.