Aprendizagem por Reforço
Uma técnica de aprendizagem de robôs para desenvolver robôs autônomos, adaptáveis e eficientes.
Nissan
Image Credit: Agility, Apptronik, Fourier, Unitree
Cargas de Trabalho
Robótica
Setores
Todos os Setores
Objetivo de Negócio
Inovação
Produtos
NVIDIA AI Enterprise
NVIDIA Isaac GR00T
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Omniverse
-
Visão Geral
-
Implementação Técnica
-
Ecossistema de Parceiros
Capacite Robôs Físicos com Habilidades Complexas Usando Aprendizado por Reforço
À medida que os robôs realizam tarefas cada vez mais complexas, a programação tradicional está ficando aquém. O aprendizado por reforço (RL) preenche essa lacuna permitindo que robôs treinem em simulação por meio de tentativa e erro para melhorar as habilidades em controle, planejamento de caminhos e manipulação. Esse aprendizado baseado em recompensas promove a adaptação contínua, permitindo que os robôs desenvolvam habilidades de motor sofisticadas para tarefas de automação do mundo real, como prenso, locomoção e manipulação complexa.
Treinamento de RL Acelerado por GPU para Robótica
O treinamento tradicional baseado em CPU para RL de robôs geralmente requer milhares de núcleos para tarefas complexas, o que aumenta os custos para aplicações robôs. A computação acelerada pela NVIDIA resolve esse desafio com recursos de processamento paralelo que aceleram significativamente o processamento de dados sensoriais em ambientes de aprendizado por reforço habilitados por percepção. Isso melhora os recursos de um robô para aprender, adaptar e executar tarefas complexas em situações dinâmicas.
As plataformas de computação acelerada da NVIDIA, incluindo frameworks de treinamento de robôs como o NVIDIA Isaac™ Lab, aproveitam a potência da GPU para simulações de física e cálculos de recompensas no pipeline de RL. Isso elimina os gargalos e simplifica o processo, facilitando uma transição mais suave da simulação para a implantação no mundo real.
Links Rápidos
Isaac Lab para Aprendizado por Reforço
O Isaac Lab é um framework modular criado no NVIDIA Isaac Sim™ que simplifica os workflows de treinamento de robôs, como aprendizado por reforço e imitação. Os desenvolvedores podem aproveitar os recursos mais recentes do Omniverse™ para o treinamento de políticas complexas com a percepção ativada.
- Monte a Cena: o primeiro passo é criar uma cena no Isaac Sim ou no Isaac Lab e importar ativos de robô do URDF ou do MJCF. Aplique esquemas de física para simulação e integre sensores para o treinamento de políticas baseado em percepção.
- Defina tarefas de RL: depois que a cena e o robô forem configurados, o próximo passo é definir a tarefa a ser concluída e a função de recompensa. O ambiente (por exemplo, Manager-Based ou Direct Workflow) fornece o estado atual do agente e observa e executa as ações que ele fornece. Em seguida, o ambiente responde aos agentes fornecendo os próximos estados.
- Treine: o último passo é definir os hiperparâmetros para o treinamento e a arquitetura de políticas. O Isaac Lab fornece quatro bibliotecas de RL para o treinamento dos modelos com GPUs — StableBaselines3, RSL-RL, RL-Games e SKRL.
- Escala: para escalar o treinamento em sistemas de várias GPUs e vários nós, os desenvolvedores podem usar o OSMO para orquestrar tarefas de treinamento de vários nós em infraestrutura distribuída.
O NVIDIA Isaac GR00T oferece aos desenvolvedores uma nova maneira de desenvolver especificamente robôs humanoides. Essa iniciativa de pesquisa e plataforma de desenvolvimento para modelos de base de robôs de propósito geral e pipelines de dados pode ajudar a entender a linguagem, emular movimentos humanos e adquirir rapidamente habilidades por meio do aprendizado multimodal.
Links Rápidos
Ecossistema de Parceiros
Veja como nosso ecossistema está criando suas próprias aplicações e serviços de robótica com base em aprendizado por reforço e tecnologias NVIDIA.
