Aprendizaje de refuerzo
Técnica de aprendizaje robótico para desarrollar aplicaciones robóticas adaptables y eficientes.
Nissan
Image Credit: Agility, Apptronik, Fourier Intelligence, Unitree
Cargas de trabajo
Robótica
Sectores
Todos los sectores
Objetivo del negocio
Innovación
Productos
NVIDIA AI Enterprise
NVIDIA Isaac GR00T
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Omniverse
-
Descripción
-
Implementación técnica
-
Ecosistema de socios
Potenciar robots físicos con habilidades complejas usando el aprendizaje por refuerzo
A medida que los robots emprenden tareas cada vez más complejas, la programación tradicional se queda corta. El aprendizaje por refuerzo (RL) cierra esta brecha al permitir que los robots entrenen en simulación a través de prueba y error para mejorar las habilidades de control, planificación de rutas y manipulación. Este aprendizaje basado en recompensas fomenta la adaptación continua, lo que les permite a los robots desarrollar habilidades motoras sofisticadas para tareas de automatización del mundo real como agarre, locomoción y manipulación compleja.
Entrenamiento de RL para robótica acelerado por GPU
El entrenamiento tradicional basado en CPU para el RL de robots requiere a menudo miles de núcleos para tareas complejas, lo que aumenta los costes de las aplicaciones de robots. La computación acelerada de NVIDIA aborda este desafío con capacidades de procesamiento paralelo que aceleran significativamente el procesamiento de datos sensoriales en entornos de aprendizaje por refuerzo habilitados por percepción. Esto mejora las capacidades de los robots para aprender, adaptarse y realizar tareas complejas en situaciones dinámicas.
Las plataformas de computación acelerada de NVIDIA, que incluyen marcos de entrenamiento de robots como NVIDIA Isaac™ Lab, aprovechan la potencia de la GPU tanto para simulaciones físicas como para cálculos de recompensas dentro del proceso de RL. Esto elimina los cuellos de botella y agiliza el proceso, lo que facilita una transición más suave de la simulación a la implementación real.
Enlaces rápidos
Isaac Lab para el aprendizaje por refuerzo
Isaac Lab es un marco modular basado en NVIDIA Isaac Sim™ que simplifica los flujos de trabajo de entrenamiento de robots, como el aprendizaje por refuerzo e imitación. Los desarrolladores pueden aprovechar las últimas capacidades de Omniverse™ para entrenar políticas complejas con percepción habilitada.
- Crear la escena: el primer paso es crear una situación en Isaac Sim o Isaac Lab e importar los activos del robot desde URDF o MJCF. Aplicar esquemas de física para simulación e integrar sensores de entrenamiento de políticas basadas en percepción.
- Definir tareas de refuerzo del aprendizaje (RL): una vez que la escena y el robot se han configurado, el siguiente paso es definir la tarea a completar y la función de recompensa. El entorno (por ejemplo, basado en el gestor o de flujo de trabajo directo) define el estado actual del agente y observa y ejecuta las acciones que proporciona. El entorno entonces ofrece los siguientes estados en respuesta a los agentes.
- Entrenar: el último paso es definir los hiperparámetros para el entrenamiento y la arquitectura de la política. Isaac Lab ofrece cuatro bibliotecas de RL para entrenar los modelos con GPU: StableBaselines3, RSL-RL, RL-Games y SKRL.
- Escalar: para escalar el entrenamiento en sistemas con varias GPU y varios nodos, los desarrolladores pueden utilizar OSMO para orquestar tareas de entrenamiento en varios nodos en una infraestructura distribuida.
NVIDIA Isaac GR00T ofrece a los desarrolladores una nueva forma de desarrollar robots humanoides. Esta iniciativa de investigación y plataforma de desarrollo para modelos básicos de robots y canalizaciones de datos de uso general puede ayudar a comprender el lenguaje, emular movimientos humanos y adquirir habilidades rápidamente a través del aprendizaje multimodal.
Enlaces rápidos
Ecosistema de socios
Observa cómo nuestro ecosistema crea sus propias aplicaciones y servicios de robótica basados en el aprendizaje por refuerzo y las tecnologías de NVIDIA.
