Erreurs de prédiction
Rôle dans les algorithmes d'apprentissage par renforcement

Les algorithmes d'apprentissage par renforcement (RL, Reinforcement Learning) permettent de modéliser la manière dont un individu apprend à partir des conséquences de ses actions. Ils reposent notamment sur :

• l'actualisation des valeurs attendues,
• la prise en compte des récompenses futures ( apprentissage par différence temporelle (TD)
• la sélection des actions.

1. Les algorithmes d'apprentissage par renforcement peuvent être distingués selon qu'ils utilisent ou non un modèle des transitions et des conséquences des actions.

• Les approches sans modèle (model-free) actualisent directement les valeurs apprises à partir de l'expérience.
• Les approches avec modèle (model-based) utilisent une représentation des transitions entre les états et des conséquences des actions pour anticiper leurs résultats.

2. Les méthodes d'apprentissage par différence temporelle (TD, Temporal Difference) permettent d'actualiser les valeurs estimées à partir des erreurs de prédiction (PE).

Elles sont utilisées dans les algorithmes classiques sans modèle, comme Q-learning et SARSA, mais peuvent également intervenir dans des approches avec modèle.

Les travaux de Sutton et Barto ont apporté des contributions fondamentales au développement de ces méthodes (Toward a Modern Theory of Adaptive Networks: Expectation and Prediction 1981 et Reinforcement Learning: An Introduction 1998).

Principes et mécanismes de l'apprentissage par renforcement

1. Le concept principal est que l’erreur de prédiction (PE) détermine l'apprentissage des associations entre les signaux prédictifs et les résultats attendus (The Dopamine Prediction Error: Contributions to Associative Models of Reward Learning 2017).

• Autrement dit, si un individu obtient un résultat auquel il ne s'attendait pas lorsqu'un signal est présenté, un signal d'enseignement sera émis pour mettre à jour ses attentes et réduire cette erreur de prédiction.
• La valeur attendue de la récompense est ainsi progressivement associée au signal qui la prédit et ce signal acquiert une valeur prédictive quantitative, même lorsqu'il ne constitue pas lui-même une récompense.

2. Les algorithmes d'apprentissage par différence temporelle (TD) ou temporal difference learning, résolvent le problème par une suite d’essais/erreurs en actualisent les valeurs prédites à partir des erreurs de prédiction de récompense (RPE).

• Ce principe d'actualisation par erreur de prédiction est déjà présent dans le modèle de Rescorla-Wagner.
• Les méthodes TD l'étendent en prenant également en compte la valeur des récompenses futures attendues.

a. À chaque étape de l'apprentissage, ils comparent la récompense reçue et la valeur des récompenses futures attendues à la valeur précédemment estimée.

b. Cette différence, appelée erreur de différence temporelle (TD error, Temporal Difference ou δt)), est calculée selon l'équation suivante :

$\delta _t=r_{t+1}+\gamma V(t+1)-V(t)$

• $\delta_t$ représente l'erreur de prédiction de récompense associée à la transition entre les instants $t$ et $t+1$.
• $r_{t+1}$ représente la récompense reçue lors de la transition vers l'état suivant.
• $V(t+1)$ représente la valeur estimée des récompenses futures à l'instant $t+1$.
• $V(t)$ représente la valeur estimée des récompenses futures à l'instant $t$.
• $\gamma$ représente le facteur d'actualisation, compris entre 0 et 1, qui détermine l'importance accordée aux récompenses futures.

c. Le paramètre γ influence donc grandement le comportement de l’agent apprenant.

• Plus $\gamma$ est faible, moins les récompenses éloignées dans le temps interviennent dans l'estimation de la valeur.
• Plus $\gamma$ est proche de 1, plus les récompenses futures conservent leur importance, même lorsqu'elles sont éloignées dans le temps.

Remarque : le facteur d'actualisation $\gamma$ est un paramètre mathématique des algorithmes d'apprentissage par renforcement qui est généralement fixé avant l'apprentissage et reste constant pendant celui-ci.

• Le concepteur choisit sa valeur en fonction de la tâche à résoudre et de l'importance à accorder aux récompenses futures.
• Dans les modèles du comportement animal ou humain, cette valeur peut également être estimée à partir des choix observés.

3. L'erreur de prédiction calculée est ensuite utilisée pour actualiser la valeur estimée selon l'équation :

$V_{\mathrm{nouveau}}(t)=V(t)+\alpha\delta_t$
où $\alpha$ représente le taux d'apprentissage, généralement compris entre 0 et 1.

a. Le produit $\alpha\delta_t$ détermine donc la modification apportée à la valeur estimée.

Le taux d'apprentissage intervient dans l'actualisation de la valeur, et non dans le calcul de l'erreur de prédiction.

• Dans le modèle de Rescorla-Wagner, $\alpha$ représente l'associabilité du stimulus conditionnel et $\beta$ celle du stimulus inconditionnel. Le taux d'apprentissage effectif correspond au produit $\alpha\beta$.
• Dans les algorithmes TD présentés ici, $\alpha$ représente directement le taux d'apprentissage. Les deux modèles utilisent donc le même symbole, mais avec des significations différentes.

b. Cette distinction soulève une question concernant la dopamine ( critique de l'expérience princeps).

• Certains chercheurs ont proposé que l'activité des neurones dopaminergiques puisse coder une erreur de prédiction pondérée par le taux d'apprentissage ($\alpha\delta_t$), plutôt que l'erreur de prédiction seule ($\delta_t$) (Advanced Reinforcement Learning 2013).).
• Cette hypothèse concerne la nature du signal dopaminergique utilisé pour modifier les valeurs apprises. Elle ne remet pas en cause le principe de l'apprentissage par erreur de prédiction.

4. Dans ces algorithmes, les erreurs de prédiction sont signées et entraînent une augmentation de la valeur apprise lorsqu'elles sont positives ou une diminution lorsqu'elles sont négatives.

• Une erreur de prédiction positive apparaît lorsque le résultat obtenu est meilleur que prévu et conduit à augmenter la valeur attribuée au signal prédictif.
• Une erreur de prédiction négative apparaît lorsque le résultat obtenu est moins favorable que prévu et conduit à diminuer la valeur attribuée au signal prédictif.

4. Les problèmes que résolvent les algorithmes d’apprentissage par renforcement peuvent être formalisés à l'aide des processus de décision markoviens (MDP) décrits dans : Modélisation computationnelle du rôle de la dopamine dans les boucles cortico-striatales dans l’apprentissage et la régulation de la sélection de l’action (2015).

a. Un processus de décision markovien décrit une succession de situations (états) dans lesquelles un agent choisit une action, passe à un nouvel état et peut recevoir une récompense.

a. Les conséquences possibles de l'action dépendent de l'état actuel, sans nécessiter la connaissance de toute la succession des états précédents.

• Ils permettent de modéliser un contexte où un agent doit apprendre à choisir l’action qui lui rapportera le plus, au sens d’une fonction de récompense, en fonction de son état courant.
• Son action le fera alors changer d’état et il devra donc de manière séquentielle résoudre le problème afin d’obtenir la meilleure récompense possible.

Principaux algorithmes d'apprentissage par renforcement

Les algorithmes d'apprentissage par renforcement se distinguent notamment selon qu'ils utilisent ou non un modèle des relations entre les états, les actions et leurs conséquences.

Algorithmes sans modèle (model-free)

Dans l'apprentissage sans modèle (model-free), les valeurs des actions ou des états sont acquises progressivement à partir des récompenses obtenues et des erreurs de prédiction.

• Ces valeurs sont actualisées au cours des expériences successives.
• L'agent peut ainsi sélectionner des actions en fonction de leurs valeurs apprises, sans représenter explicitement les conséquences possibles de chaque action.

Il existe plusieurs algorithmes d'apprentissage par renforcement, comme Q-learning, Sarsa (State–action–reward–state–action) ou Actor-Critic, qui diffèrent par la manière dont ils estiment les valeurs et sélectionnent les actions.

1. Par exemple, dans l'algorithme Actor-Critic, deux composantes interviennent dans l'apprentissage et la sélection des actions.

a. L'acteur sélectionne les actions en fonction de l'état de l'agent et de sa politique d'action.

Il peut être représenté par un approximateur de fonction, comme un réseau de neurones, qui détermine les actions à sélectionner selon l'état de l'agent.

b. Le critique estime la valeur des états ou des actions et utilise les erreurs de prédiction pour évaluer les résultats obtenus.

• Cette évaluation permet à l'acteur d'ajuster progressivement sa politique de sélection des actions.
• Comme l'acteur, le critique peut être représenté par un approximateur de fonction, tel qu'un réseau de neurones.
• Selon l'architecture utilisée, il estime la valeur d'un état $V(s)$ ou la valeur $Q(s,a)$ d'une action $a$ effectuée dans un état $s$.

2. Le but des algorithmes d’apprentissage par renforcement est de trouver une politique optimale $\pi^*$, c'est-à-dire une stratégie de sélection des actions qui maximise la récompense cumulée attendue à long terme.

3. Dans certaines variantes des algorithmes d'apprentissage par différence temporelle (TD), notamment Q-learning et SARSA, les taux d'apprentissage sont asymétriques, c'est-à-dire que les erreurs de prédiction positives et négatives ne reçoivent pas le même poids.

a. Un taux d'apprentissage plus élevé pour les erreurs positives que pour les erreurs négatives peut expliquer le biais de positivité.

b. Le biais de confirmation du choix peut également être modélisé par des taux d'apprentissage asymétriques.

• Dans ce cas, les erreurs de prédiction qui confirment le choix effectué reçoivent un poids plus important que celles qui le contredisent, qu'elles soient positives ou négatives.
• Le biais de confirmation du choix se distingue donc du biais de positivité, qui dépend uniquement du signe de l'erreur de prédiction.

c. Des études de simulation ont montré que les agents présentant un biais de confirmation du choix pouvaient obtenir de meilleures performances que les agents sans ce biais, dans certaines tâches d'apprentissage par renforcement (A Normative Account of Confirmation Bias During Reinforcement Learning 2022).

Algorithmes fondés sur un modèle (model-based))

Dans l'apprentissage fondé sur un modèle (model-based), l'agent utilise une représentation des relations entre les états, les actions et leurs conséquences pour évaluer les résultats possibles de ses choix.

1. L'agent peut ainsi adapter son comportement à partir d'informations nouvelles, sans devoir nécessairement réapprendre directement la valeur de chaque action.

a. L'algorithme Dyna-Q combine l'apprentissage par différence temporelle (TD) avec l'utilisation d'un modèle de l'environnement.

• L'agent apprend à partir des transitions réellement observées entre les états.
• Il utilise également son modèle pour simuler des transitions et actualiser les valeurs des actions sans nouvelle expérience directe.

b. L'algorithme Prioritized Sweeping utilise également un modèle de l'environnement, mais sélectionne en priorité les états et les actions dont les valeurs nécessitent une actualisation importante.

Il propage ainsi les nouvelles informations vers les états antérieurs susceptibles d'être affectés, plutôt que de traiter toutes les transitions simulées de manière indifférenciée. C

2. Ces deux algorithmes illustrent comment un modèle de l'environnement peut améliorer l'apprentissage en permettant d'exploiter les conséquences prévisibles des actions, sans devoir toutes les expérimenter directement.

Différences entre apprentissage sans modèle et
apprentissage fondé sur un modèle

La dévaluation d'une récompense, c'est-à-dire la diminution de sa valeur pour l'organisme, permet de bien mettre en évidence les différences entre ces deux formes d'apprentissage.

Application à l'intelligence artificielle

1. Les modèles de langage comme ChatGPT, fondés sur une architecture appelée Transformer (Attention Is All You Need 2017), reposent sur des réseaux neuronaux artificiels entraînés initialement à prédire des éléments de texte à partir de leur contexte (Training language models to follow instructions with human feedback 2022).

a. Lorsque l'utilisateur écrit « Peut-on être heureux sans être libre ? », ChatGPT analyse les mots de la phrase et le contexte de la conversation pour déterminer la réponse à produire.

• Il attribue des probabilités aux différents éléments de texte susceptibles de constituer la suite de sa réponse.
• Il peut produire une réponse faisant intervenir différentes conceptions philosophiques de la liberté et du bonheur, en attribuant des probabilités aux éléments de texte successifs.

b. Il faut toutefois distinguer les probabilités utilisées pour générer le texte de la probabilité d'avoir correctement compris la question.

• La probabilité attribuée aux éléments de texte générés, qui intervient directement dans le fonctionnement du modèle,
• La probabilité d'avoir correctement compris la question, qui n'est pas calculée directement sous la forme d'un score explicite de compréhension.

2. Leur entraînement peut ensuite être amélioré par des méthodes d'apprentissage par renforcement ou d'optimisation directe des préférences humaines, qui permettent de favoriser les réponses jugées les plus appropriées à partir d'évaluations humaines ou de critères de réussite.

a. Deux méthodes peuvent notamment être utilisées.

• L'optimisation proximale de la politique (Proximal Policy Optimization ou PPO) est un algorithme d'apprentissage par renforcement qui utilise les scores de récompense pour améliorer les réponses du modèle, tout en limitant l'ampleur des modifications apportées à sa politique.
• L'optimisation directe des préférences (Direct Preference Optimization ou DPO) permet d'entraîner directement le modèle à privilégier les réponses préférées par les évaluateurs, sans passer par un modèle de récompense distinct ni par un algorithme classique d'apprentissage par renforcement.

b. Une étude comparative a montré que PPO pouvait obtenir de meilleurs résultats que DPO dans certaines conditions (Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study 2024).

c. Ces évaluations interviennent pendant l'entraînement du modèle pour modifier ses paramètres.

Lorsqu'il répond ensuite à un utilisateur, ChatGPT génère du texte à partir des paramètres ainsi appris et du contexte de la conversation, sans recevoir à chaque réponse un nouveau signal de récompense destiné à actualiser ces paramètres.

d. Cependant, contrairement à un organisme vivant, ChatGPT ne possède pas de système dopaminergique.

Les scores de récompense utilisés pendant son entraînement ne correspondent donc pas directement aux erreurs de prédiction de récompense (RPE) dopaminergiques.

3. ChatGPT ne relève pas directement de la distinction entre apprentissage sans modèle (model-free) et apprentissage fondé sur un modèle (model-based).

• Certaines méthodes d'apprentissage par renforcement utilisées pour ajuster les modèles de langage sont de type model-free.
• ChatGPT peut également raisonner sur les conséquences possibles d'une action, mais cela ne signifie pas qu'il utilise un algorithme model-based au sens de l'apprentissage par renforcement.

Retour aux erreurs de prédiction