Apprentissage par renforcement
Technique de Robot Learning pour développer des applications robotiques flexibles et efficaces.
Nissan
Image Credit: Agility, Apptronik, Fourier Intelligence, Unitree
Charges de travail
Robotique
Industries
Toutes les industries
Objectifs commerciaux
Innovation
Produits
NVIDIA AI Enterprise
NVIDIA Isaac GR00T
NVIDIA Isaac Lab
NVIDIA Isaac Sim
NVIDIA Omniverse
-
Aperçu
-
Implémentation technique
-
Écosystème de partenaires
Donner aux robots physiques des compétences complexes en utilisant l’apprentissage par renforcement
À mesure que les robots entreprennent des tâches de plus en plus complexes, la programmation traditionnelle devient insuffisante. L'apprentissage par renforcement (RL) comble cette lacune en permettant aux robots de s'entraîner en simulation par essais et erreurs pour améliorer les compétences en matière de contrôle, de planification d'itinéraires et de manipulation. Cet apprentissage basé sur des récompenses favorise l'adaptation continue, ce qui permet aux robots de développer des compétences motrices sophistiquées pour les tâches d'automatisation du monde réel telles que la saisie, les déplacements et les manipulations complexes.
Apprentissage par renforcement accéléré par GPU pour la robotique
L'apprentissage par renforcement traditionnel des robots, basé sur le CPU, nécessite souvent des milliers de cœurs du fait des tâches complexes, ce qui augmente les coûts des applications robotiques. Le calcul accéléré par NVIDIA s'attaque à ce problème grâce à des capacités de traitement parallèle qui accélèrent considérablement le traitement des données sensorielles dans les environnements d'apprentissage par renforcement basés sur la perception. Le robot voit ainsi ses capacités d'apprentissage, d'adaptation et d'exécution de tâches complexes s'améliorer dans des situations dynamiques.
Les plateformes de calcul accéléré par NVIDIA, notamment les frameworks d'entraînement de robots tels que NVIDIA Isaac™ Lab, tirent parti de la puissance des GPU pour les simulations physiques et les calculs de récompenses dans le pipeline d'apprentissage par renforcement. De quoi éliminer les goulots d’étranglement et simplifier le processus, pour transitionner facilement de la simulation au déploiement réel.
Liens rapides
Isaac Lab pour l’apprentissage par renforcement
Isaac Lab est un framework modulaire basé sur NVIDIA Isaac Sim™ qui simplifie les workflows d’entraînement des robots tels que l’apprentissage par renforcement et par imitation. Les développeurs peuvent tirer parti des nouvelles capacités Omniverse™ pour entraîner des politiques complexes en activant la perception.
- Assemblez la scène : la première étape consiste à construire une scène dans Isaac Sim ou Isaac Lab et à importer des ressources de robot depuis URDF ou MJCF. Appliquez des schémas de physique pour la simulation et intégrez des capteurs pour l’entraînement de la politique basée sur la perception.
- Définissez les tâches d'apprentissage par renforcement : une fois la scène et le robot configurés, l'étape suivante consiste à définir la tâche à accomplir et la fonction de récompense. L'environnement (Manager-Based ou Direct Workflow, par exemple) définit l'état actuel de l'agent, en plus d'observer et d'exécuter les actions qu'il fournit. L'environnement répond ensuite aux agents en fournissant les états suivants.
- Entraînez : la dernière étape consiste à définir les hyperparamètres pour l’entraînement et l’architecture de la politique. Isaac Lab fournit quatre bibliothèques d'apprentissage par renforcement pour l’entraînement des modèles avec des GPU : StableBaselines3, RSL-RL, RL-Games et SKRL.
- Élargissez : pour élargir l’entraînement et passer sur des systèmes multi-GPU et multi-nœuds, les développeurs peuvent utiliser OSMO pour orchestrer des tâches d'entrainement multi-nœuds sur une infrastructure distribuée.
NVIDIA Isaac GR00T offre aux développeurs une nouvelle façon de développer des robots humanoïdes. Cette initiative de recherche et cette plateforme de développement pour les modèles de fondation de robots et les pipelines de données à usage général peuvent aider à comprendre le langage, à émuler les mouvements humains et à acquérir rapidement des compétences grâce à l’apprentissage multimodal.
Liens rapides
Écosystème de partenaires
Découvrez comment notre écosystème développe ses propres applications et services de robotique basés sur l’apprentissage par renforcement et les technologies NVIDIA.
