IA Física
NVIDIA Cosmos
Uma plataforma aberta de ponta para criar, especializar e implantar modelos de mundo mais rapidamente para IA física.
World Foundation Models
Crie no Cosmos 3
A família de omnimodelos de ponta para IA física com raciocínio nativo, simulação de mundo e geração de ação. Criado com base no Mixture-of-Transformers para uma precisão insuperável.
Raciocine e Analise
Use como um modelo de linguagem visual (VLM) para raciocinar sobre objetos, interações e intenções em cenários complexos do mundo real.
Apresenta alertas em tempo real e legendagem densa em áreas como inspeção de qualidade, segurança pública, monitoramento de tráfego, logística e condução autônoma.
Crie Modelos Especializados
Acelere a aprendizagem de políticas de robôs com NVIDIA Cosmos™ 3 como a espinha dorsal para modelos de ação de mundo (WAMs).
Pós-treinamento de world foundation model generalizado com dados de câmeras e incorporação especializados. O modelo de políticas adapta ações pré-aprendidas a tarefas, domínios e comportamentos específicos em escala.
Simule mundos
Atue como um simulador de mundo controlável e baseado em física para prever estados de mundo de visão única ou múltiplas visões, avaliar os resultados em um loop fechado e convergir para o comportamento correto.
Escale o loop entre ambientes, tarefas e condições para melhorar continuamente sem riscos reais.
Gere Dados
Gere infinitos futuros plausíveis a partir de texto, imagem, vídeo, som ambiente e entrada de ação.
Use a geração de vídeo como imaginação para treinar a IA física sem se limitar pelo que foi capturado fisicamente.
Plataforma
Crie seu próprio Modelo de Mundo
Dados abertos, frameworks de treinamento e implantação otimizada para criar modelos de mundo de ponta mais rapidamente.
-
Dados
-
Crie e implante
Casos de Uso
Como a Cosmos Acelera a IA em Todos os Setores
-
Treinamento de Veículos Autônomos
-
Aprendizagem de Robôs
-
Agentes de IA para Análise de Vídeo
Treinamento de Veículos Autônomos
Gere dados de sensores personalizados, diversos e de alta fidelidade para treinar, testar e validar veículos autônomos com segurança.
- Amplificar a diversidade de dados existentes com novos dados de clima, iluminação e geolocalização
- Pós-treinamento para expandir para visualizações de vários sensores
- Crie um pipeline de aumento e avaliação de dados sintéticos de ponta a ponta usando habilidades de agentes criadas no Cosmos
Aprendizagem de Robôs
Crie uma política de aprendizagem de robôs que permita que agentes incorporados operem em ambientes reais em condições conhecidas e desconhecidas.
- Pós-treinamento do Cosmos 3 em tarefas, ambientes, layouts de câmeras ou sensores e políticas específicos de embodiment
- Execute simulações em loop fechado fisicamente precisas
- Crie um pipeline de aumento e avaliação de dados sintéticos de ponta a ponta usando habilidades de agentes criadas no Cosmos
Agentes de IA para Análise de Vídeo
Aprimore a automação, a segurança e a eficiência operacional em ambientes industriais e urbanos.
Com o Cosmos, os agentes de IA podem analisar, resumir e interagir com fluxos de vídeo em tempo real ou gravados para:
- Ofereça alertas contextuais em tempo real
- Fale com seus vídeos e extraia insights de feeds de câmeras ao vivo ou bibliotecas de vídeo em larga escala
- Crie agentes de IA para análise de vídeo com o NVIDIA Metropolis Blueprint para pesquisa e resumo de vídeos
- Gere dados de treinamento sintéticos para aumentar ainda mais a precisão da compreensão
Desempenho
Funciona melhor com IA da NVIDIA
O Cosmos 3 é otimizado para o melhor desempenho em hardware da NVIDIA. As NVIDIA RTX PRO™ 6000 Blackwell Series Servers aceleram o desenvolvimento de IA física para robôs, veículos autônomos e agentes de IA em treinamento, geração de dados sintéticos, simulação e inferência.
Obtenha o desempenho máximo para os world foundation models do Cosmos na NVIDIA Blackwell GB200 para cargas de trabalho industriais de pós-treinamento e inferência.
Ecossistema
Adotado pelos Principais Inovadores de IA Física
Os desenvolvedores de modelos dos setores de robótica, veículos autônomos e IA de visão estão usando o Cosmos para acelerar o desenvolvimento da IA física.
Próximos Passos
Recursos
O Mais Recente dos Desenvolvedores do Cosmos
-
Últimas Notícias
-
Palestras principais
-
Transmissões ao Vivo
-
Sessões
-
Demonstrações
Perguntas Frequentes
NVIDIA Cosmos é uma plataforma aberta para criar modelos de mundo, com world foundation models de ponta, conjuntos de dados abertos, Frameworks de treinamento e otimização e blueprints de processamento e geração de dados em todo o ciclo de vida de desenvolvimento.
O Cosmos 3 foi criado com base na arquitetura Mixture of Transformers. Os módulos de raciocínio e geradores usam diferentes Transformers para geração e desempenho eficientes. Portanto, o modelo raciocinia primeiro e depois gera, resultando em precisão física de liderança em todos os recursos. Saiba Mais sobre a arquitetura aqui.
Os WFMs do Cosmos estão disponíveis sob uma Licença de Modelo Aberto da NVIDIA para todos.
O Cosmos 3 está disponível abertamente com scripts de pós-treinamento no GitHub para cada modalidade e módulo. Além disso, o NVIDIA TAO 7 fornece um conjunto de habilidades e ferramentas de agentes para ajustar modelos de IA de visão, incluindo o Cosmos 3, com agentes de programação e prompts de linguagem natural.
Sim, você pode aproveitar o Cosmos para criar, a partir do zero, com seu foundation model ou arquitetura de modelo preferida. Você pode começar usando o Cosmos Curator para pré-processamento de dados de vídeo. Depois, compacte e decodifique seus dados com o tokenizador do Cosmos. Depois de processar os dados, você pode treinar ou ajustar seu modelo.
Com os microsserviços NVIDIA NIM™, você pode integrar facilmente seus modelos de IA física em suas aplicações na nuvem, data centers e workstations.
Você também pode usar o NVIDIA DGX Cloud para treinar modelos de IA e implantá-los em escala em qualquer lugar.
O Cosmos 3 é um omni-model que pode gerar em texto, imagem, vídeo, som e ação. Embora o Cosmos 2.5 e o Cosmos 2 tenham mantido a percepção e a geração como modelos separados e as modalidades fossem limitadas a texto, imagem e vídeo.
O Omniverse cria simulações 3D realistas de tarefas do mundo real usando diferentes APIs generativas, SDKs e a tecnologia de renderização NVIDIA RTX.
Os desenvolvedores podem inserir simulações do Omniverse como vídeos instrucionais em modelos do Cosmos Transfer para gerar dados sintéticos controláveis e fotorrealistas.
Juntos, o Omniverse fornece o ambiente de simulação antes e depois do treinamento, enquanto o Cosmos fornece os modelos de base para gerar dados de vídeo e treinar modelos de IA física.
Saiba mais sobre o NVIDIA Omniverse.