PPO : l’Algorithme qui Apprend aux Robots à Agir Seuls — Transcript

Découvrez le PPO, un algorithme d'apprentissage par renforcement qui permet aux robots d'agir seuls grâce à des réseaux de neurones et des mises à jour modérées.

Key Takeaways

Le Q-learning est une méthode simple avec convergence garantie mais limitée aux espaces d'état discrets.
Le PPO utilise des réseaux de neurones pour gérer des actions continues et des environnements complexes.
Le clipping dans PPO assure une mise à jour stable et évite les changements trop brusques de politique.
Le sim-to-real gap reste un défi majeur pour l'application réelle des algorithmes d'apprentissage par renforcement.
Les critères d'arrêt sont essentiels pour évaluer la performance et la convergence des algorithmes.

Summary

Introduction à l'apprentissage par renforcement et présentation de Sylvie, data scientist.
Explication du Q-learning : table Q, récompenses, exploration/exploitation, critères d'arrêt et avantages/inconvénients.
Exemples concrets d'application du Q-learning comme AlphaGo, robots Boston Dynamics et jeux Snake.
Présentation du PPO (Proximal Policy Optimization) comme méthode avancée pour les espaces d'état et actions continues.
Fonctionnement du PPO : réseau de neurones, clipping du ratio de politique, advantage, et sécurité des mises à jour.
Exemple d'application du PPO : main robotique résolvant un Rubik's Cube grâce à des milliards de simulations.
Critères d'arrêt du PPO : stabilisation des récompenses, budget de simulation, et seuil de divergence KL.
Avantages du PPO : gestion des actions continues, stabilité et prévention des mises à jour catastrophiques.
Inconvénients du PPO : forte exigence en simulation et problème du sim-to-real gap.
Conclusion et annonce de la prochaine vidéo sur les méthodes ensemblistes et les noyaux.

Full Transcript — Download SRT & Markdown

Speaker A

Bonjour à toi, bienvenue sur ma chaîne. Avant de commencer, laisse-moi me présenter. Je suis Sylvie, ingénieur statisticienne et data scientist. J'espère que tu vas bien. Si ça ne va pas, ça va aller. Et je t'assure qu'à la fin de cette vidéo, tu vas retrouver le sourire. Alors, à toute.

Speaker A

Aïe aïe aïe, j'aime cette partie. Les algorithmes d'apprentissage par renforcement. On n'est plus dans les fonctions machin machin, mais on est à l'action. On prend des actions, on reçoit des récompenses et des pénalités. Et ça, c'est une chose que j'adore vraiment.

Speaker A

Un agent prend des décisions dans un environnement, reçoit des récompenses et des pénalités et apprend à maximiser ses gains. Comme un enfant qui joue à un jeu vidéo, il essaie des choses, voit ce qui marche.

Speaker A

Le premier algo que je vous présente ici, c'est le Q-learning.

Speaker A

C'est quoi alors le Q-learning?

Speaker A

Le Q-learning construit une table associée à chaque paire situation, action possible, une valeur Q ou value Q.

Speaker A

La récompense totale espérée à long terme si on fait cette action maintenant. L'agent choisit toujours l'action avec la meilleure Q-value.

Speaker A

Un enfant qui apprend à jouer aux échecs, à chaque position, ça c'est l'état, il essaie différents coups, action.

Speaker A

Après des centaines de parties, il apprend que avancer ce pion depuis cette position rapporte généralement de bonnes récompenses. Sa fonction Q, c'est sa mémoire de la valeur de chaque coup selon la situation.

Speaker A

En pratique, AlphaGo a joué des millions de parties contre lui-même et a battu le champion du monde en 2016. Les robots de Boston Dynamics apprennent à marcher et récupérer leur équilibre. Les recommandations YouTube optimisent le temps de visionnage. Pas intéressant ça?

Speaker A

Un exemple tiré du quotidien, nous avons les jeux Snake Q-table.

Speaker A

Le serpent est dans cette configuration et tourne à gauche.

Speaker A

Ça c'est la punition.

Speaker A

Donc le Q est égal à -1.

Speaker A

Mais ici il avance et que la pomme est devant, on a un Q de +87 par exemple.

Speaker A

Après des milliers de parties, le serpent devient expert.

Speaker A

Hmm.

Speaker A

Quels sont donc les indicateurs utilisés pour évaluer cette méthode?

Speaker A

Nous avons l'équation de Bellman, qui est la règle de mise à jour de la Q-table.

Speaker A

Je vais vous l'expliquer simplement.

Speaker A

La nouvelle Q-value, qui est égale à la récompense immédiate plus la valeur de la meilleure action dans l'état suivant multiplié par le gamma.

Speaker A

C'est comme l'agent propage les récompenses futures vers les décisions actuelles.

Speaker A

Le gamma, qu'est-ce que c'est?

Speaker A

C'est le facteur de vision à long terme.

Speaker A

Si le gamma est égal à zéro, l'agent ne pense qu'à la prochaine récompense.

Speaker A

Mais si le gamma est égal à 0,99, il planifie très loin.

Speaker A

Nous avons ensuite l'epsilon.

Speaker A

C'est le taux d'exploration.

Speaker A

On commence à epsilon élevé, on explore.

Speaker A

Et on diminue progressivement.

Speaker A

C'est-à-dire, on exploite ce qu'on a appris.

Speaker A

Quels sont donc les critères d'arrêt de cette méthode?

Speaker A

Le premier critère, c'est la convergence de la Q-table.

Speaker A

Quand les valeurs Q ne changent plus de façon significative entre deux épisodes, l'algorithme a convergé.

Speaker A

Ensuite, nous avons le seuil de récompense atteint.

Speaker A

Si l'agent atteint en moyenne 90% du score maximum sur les 100 derniers épisodes, il est jugé suffisamment bon.

Speaker A

Un autre critère, c'est le nombre maximum d'épisodes, un plafond de sécurité qu'on impose.

Speaker A

Et qui est très intéressant.

Speaker A

Par exemple, 100, 200, 500.

Speaker A

Quels sont donc les avantages de cette méthode?

Speaker A

Le premier avantage, c'est qu'elle offre une convergence garantie mathématiquement.

Speaker A

Par exemple, sous certaines conditions, le Q-learning converge vers la politique optimale.

Speaker A

Elle n'a pas besoin de connaître les règles.

Speaker A

L'agent les découvre en jouant.

Speaker A

Et c'est ce qui fait que je l'adore beaucoup.

Speaker A

Toutefois, elle a des inconvénients.

Speaker A

Elle ne passe pas à l'échelle.

Speaker A

La table est ingérable si l'espace d'état est trop grand.

Speaker A

Elle ne permet pas d'émettre des actions continues.

Speaker A

Par exemple, pour tourner un volant de -15 degrés à +15 degrés, ce n'est pas possible.

Speaker A

Il faut donc une autre méthode qu'on appelle le PPO.

Speaker A

Le PPO ou Proximal Policy Optimization, c'est le renforcement des problèmes complexes.

Speaker A

C'est quoi en réalité?

Speaker A

Le PPO remplace la table par un réseau de neurones qui apprend directement quelle action faire dans quelle situation.

Speaker A

Proximal veut dire que chaque mise à jour reste modérée.

Speaker A

On ne change jamais tout d'un coup.

Speaker A

Prenons un exemple du quotidien.

Speaker A

La main robotique qui résout un Rubik's Cube, OpenAI 2019.

Speaker A

Des milliards de parties en simulation, des récompenses pour chaque face correcte.

Speaker A

La main a appris des gestes de précision.

Speaker A

Et personne n'aurait pu programmer cela.

Speaker A

C'est pas intéressant ça?

Speaker A

Quels sont donc les indicateurs utilisés pour évaluer cette méthode?

Speaker A

Le premier indicateur, c'est le ratio de politique.

Speaker A

Qui compare la probabilité de l'action selon la politique.

Speaker A

Nouvelle politique et l'ancienne.

Speaker A

PPO clip ce ratio dans l'intervalle 0,8, 1,2.

Speaker A

Si une mise à jour voulait aller trop loin, elle est limitée.

Speaker A

C'est le filet de sécurité du PPO.

Speaker A

L'advantage.

Speaker A

C'est une fonction qui mesure si une action était meilleure ou pire que ce qu'on attendait en moyenne.

Speaker A

Advantage positif, cela signifie qu'on l'encourage.

Speaker A

Et négatif, on la décourage.

Speaker A

Quels sont donc les critères d'arrêt de cette méthode?

Speaker A

Premièrement, nous avons la récompense moyenne stabilisée.

Speaker A

Si la récompense moyenne sur les 100 derniers épisodes ne s'améliore plus, l'agent a atteint son plateau.

Speaker A

Ensuite, nous avons le budget de simulation atteint.

Speaker A

On fixe un budget, par exemple, 10 milliards de pas de simulation.

Speaker A

Une fois épuisé, on s'arrête.

Speaker A

Après cela, nous allons comparer ce qu'on appelle le KL divergence au seuil.

Speaker A

Je vais vous l'expliquer.

Speaker A

Si la divergence entre l'ancienne et la nouvelle politique est inférieure à un seuil, la mise à jour est suffisamment petite.

Speaker A

Quels sont donc les avantages de cette méthode?

Speaker A

D'abord, elle offre des actions continues.

Speaker A

Un robot peut tourner sur son épaule de exactement 12,3 degrés.

Speaker A

PPO gère ça nativement.

Speaker A

Elle est stable.

Speaker A

Le clipping évite les mises à jour catastrophiques.

Speaker A

Ce qui la rend encore très très intéressante.

Speaker A

Toutefois, elle a des inconvénients.

Speaker A

Le premier inconvénient, c'est qu'elle est exigeante en simulation.

Speaker A

Des milliards de pas de simulation pour des tâches complexes.

Speaker A

Hmm.

Speaker A

C'est dur à calculer.

Speaker A

Ensuite, elle est victime de ce qu'on appelle le sim-to-real gap.

Speaker A

C'est-à-dire, ce qui fonctionne en simulation peut échouer dans le monde réel.

Speaker A

Et c'est ce qui n'est pas intéressant.

Speaker A

Quand on fait un modèle ou une méthode.

Speaker A

C'est pour avancer dans la réalité.

Speaker A

Mais lorsqu'on a ces écarts, on se pose vraiment de vraies questions.

Speaker A

Ainsi prend fin les méthodes d'apprentissage par renforcement.

Speaker A

Si vous avez aimé la présentation ou le contenu, n'hésitez pas à me laisser un pouce bleu.

Speaker A

C'est ce qui m'encourage vraiment à continuer dans cette même lancée.

Speaker A

La prochaine vidéo sera consacrée aux méthodes ensemblistes et les noyaux.

Speaker A

Mais en attendant.

Speaker A

Prenez soin de vous.

Speaker A

Au revoir.

Topics:apprentissage par renforcementQ-learningPPOProximal Policy Optimizationréseaux de neuronesrobotsintelligence artificiellesimulationalgorithmedata science

Frequently Asked Questions

Qu'est-ce que le Q-learning et comment fonctionne-t-il ?

Le Q-learning est un algorithme d'apprentissage par renforcement qui construit une table associant chaque état-action à une valeur Q représentant la récompense attendue à long terme. L'agent choisit toujours l'action avec la meilleure Q-value et met à jour cette table selon l'équation de Bellman.

Quels sont les avantages du PPO par rapport au Q-learning ?

Le PPO permet de gérer des actions continues grâce à un réseau de neurones, offre une meilleure stabilité via le clipping des mises à jour, et est adapté aux problèmes complexes où le Q-learning ne peut pas être appliqué efficacement.

Quels sont les principaux défis du PPO en apprentissage par renforcement ?

Le PPO nécessite des milliards de pas de simulation pour apprendre efficacement, ce qui est coûteux en calcul, et il souffre du sim-to-real gap, c'est-à-dire que ce qui fonctionne en simulation peut échouer dans le monde réel.

Get More with the Söz AI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries, speaker detection, and unlimited transcriptions.

App Store Google Play

Or transcribe another YouTube video here →