Une fonction d’erreur, une dérivée, un pas d’apprentissage et une suite : derrière le mot « apprentissage » se cache un véritable problème d’optimisation.
Le sujet est contemporain, mais le cœur de l’oral reste 100 % mathématique : on construit une fonction de perte, on la dérive, on étudie sa convexité, on transforme l’algorithme en suite récurrente, puis en suite géométrique, et on obtient une condition exacte de convergence.
Quand on utilise une intelligence artificielle capable de reconnaître une image, de prédire une valeur ou de produire du texte, on dit souvent qu’elle a « appris » à partir de données. Ce mot peut donner l’impression qu’une machine apprend comme un humain. Mathématiquement, une partie essentielle de l’apprentissage automatique repose pourtant sur une idée beaucoup plus précise : choisir des paramètres, mesurer l’erreur produite, puis modifier ces paramètres pour faire diminuer cette erreur.
Je vais étudier un exemple volontairement très simple : une machine doit ajuster une droite à deux données. Ce modèle est loin d’un grand réseau de neurones, mais il permet de comprendre le mécanisme central de la descente de gradient. Ma problématique est : comment la dérivation et les suites permettent-elles à une machine d’apprendre à partir de données ?
Supposons que l’on dispose de deux observations : \[ (1;2)\qquad\text{et}\qquad(2;3). \] On cherche un modèle très simple de la forme \[ \widehat y=ax, \] où \(a\) est le paramètre que la machine doit apprendre.
Pour mesurer si une valeur de \(a\) est bonne, on compare les valeurs prédites aux vraies valeurs. Avec \(x=1\), la prédiction vaut \(a\), donc l’erreur est \(2-a\). Avec \(x=2\), la prédiction vaut \(2a\), donc l’erreur est \(3-2a\).
On choisit de mesurer l’erreur totale avec la somme des carrés : \[ E(a)=(2-a)^2+(3-2a)^2. \] En développant, \[ E(a)=5a^2-16a+13. \] On peut aussi écrire \[ \boxed{E(a)=5(a-1{,}6)^2+0{,}2}. \] Cette fonction représente la perte du modèle : plus \(E(a)\) est petite, meilleure est l’adaptation aux données.
La fonction \(E\) est un polynôme du second degré. Sa dérivée vaut \[ E'(a)=10a-16=10(a-1{,}6). \] Et sa dérivée seconde vaut \[ E''(a)=10>0. \] La fonction est donc strictement convexe : elle possède un unique minimum.
Ce minimum est atteint lorsque \[ E'(a)=0, \] donc \[ 10a-16=0, \] d’où \[ \boxed{a^*=1{,}6}. \] Dans ce petit exemple, on pourrait donc calculer directement la meilleure valeur. Mais dans un modèle comportant des milliers ou des millions de paramètres, on ne peut généralement pas isoler aussi simplement toutes les inconnues.
L’idée de la descente de gradient consiste alors à utiliser la dérivée comme une boussole. Si \(E'(a)>0\), la fonction augmente quand \(a\) augmente : pour faire diminuer l’erreur, on doit donc réduire \(a\). Si \(E'(a)<0\), on doit au contraire augmenter \(a\). On se déplace donc dans le sens opposé à la dérivée.
On peut aussi interpréter ce minimum géométriquement. La courbe de \(E\) est une parabole ouverte vers le haut. Son sommet correspond exactement à \(a=1{,}6\). Autrement dit, l’apprentissage revient ici à se déplacer sur cette parabole jusqu’à atteindre son point le plus bas. Dans un problème réel, la fonction de perte vit dans un espace de très grande dimension, mais l’idée reste la même : chercher une vallée où l’erreur est plus petite.
On choisit une valeur initiale \(a_0\), par exemple \[ a_0=0. \] Puis on définit \[ \boxed{a_{n+1}=a_n-\eta E'(a_n)}, \] où \(\eta>0\) est appelé pas d’apprentissage.
Dans notre exemple, \[ E'(a_n)=10a_n-16. \] Donc \[ a_{n+1}=a_n-\eta(10a_n-16). \] On peut réorganiser : \[ a_{n+1}=(1-10\eta)a_n+16\eta. \]
Prenons \[ \eta=0{,}05. \] Alors \[ a_{n+1}=0{,}5a_n+0{,}8. \] Avec \(a_0=0\), on obtient successivement \[ a_1=0{,}8,\qquad a_2=1{,}2,\qquad a_3=1{,}4,\qquad a_4=1{,}5. \] Les valeurs se rapprochent de 1,6. La machine ne connaît pas au départ la meilleure pente ; elle s’en approche par corrections successives.
Cette partie est particulièrement intéressante car on peut prouver la convergence exactement. On soustrait la valeur optimale \(1{,}6\) dans la relation générale : \[ a_{n+1}-1{,}6=(1-10\eta)(a_n-1{,}6). \] La suite \[ u_n=a_n-1{,}6 \] est donc géométrique de raison \[ q=1-10\eta. \] Ainsi \[ \boxed{a_n-1{,}6=(a_0-1{,}6)(1-10\eta)^n}. \]
Pour que \(a_n\) tende vers \(1{,}6\), il faut que \[ (1-10\eta)^n\to0. \] Une suite géométrique \(q^n\) tend vers zéro exactement lorsque \[ |q|<1. \] On doit donc avoir \[ |1-10\eta|<1. \] Cela donne \[ -1<1-10\eta<1, \] puis \[ \boxed{0<\eta<0{,}2}. \]
On vient donc de déterminer mathématiquement les valeurs du pas d’apprentissage qui garantissent la convergence dans notre modèle.
Cette formule explicite permet même d’estimer le nombre d’itérations nécessaires pour atteindre une précision donnée. Avec \(\eta=0{,}05\), on a \[ |a_n-1{,}6|=|a_0-1{,}6|\left(\frac12\right)^n. \] À chaque étape, l’écart est divisé par deux. Après dix itérations, il est donc divisé par \(2^{10}=1024\). On voit apparaître un lien direct entre vitesse d’apprentissage et comportement d’une suite géométrique.
Le pas \(\eta\) joue un rôle essentiel. Si \[ \eta=0{,}01, \] la raison géométrique vaut \[ 1-10\eta=0{,}9. \] La suite converge, mais lentement.
Si \[ \eta=0{,}05, \] la raison vaut \(0{,}5\). L’erreur sur le paramètre est donc divisée par deux à chaque étape : la convergence est rapide.
Si l’on prend par exemple \[ \eta=0{,}15, \] la raison vaut \(-0{,}5\). La suite converge encore vers 1,6, mais elle oscille autour de la valeur optimale.
Enfin, si \[ \eta=0{,}22, \] la raison vaut \(-1{,}2\). Sa valeur absolue est supérieure à 1 : les corrections deviennent de plus en plus grandes et la suite diverge. La machine « dépasse » sans cesse le minimum.
Le taux d’apprentissage n’est donc pas un détail technique. Dans notre exemple, il détermine directement si l’apprentissage est lent, rapide, oscillant ou impossible.
La forme même de la fonction de perte compte également beaucoup. Ici, elle est convexe : il n’existe qu’un seul creux, donc descendre conduit vers le bon minimum. Dans des modèles beaucoup plus complexes, le paysage de la perte peut contenir des zones plates, des vallées, des selles et plusieurs minima locaux. Cela explique pourquoi l’optimisation d’un réseau de neurones ne se réduit pas à notre parabole. Notre exemple est volontairement simple pour isoler le mécanisme mathématique fondamental.
Une vraie intelligence artificielle peut comporter un nombre immense de paramètres. Une fonction de perte dépend alors de nombreuses variables, et la dérivée devient un gradient, c’est-à-dire un vecteur de dérivées partielles. L’idée reste la même : modifier les paramètres dans la direction opposée au gradient afin de réduire la perte.
En pratique, l’apprentissage peut utiliser toutes les données à chaque étape, ou seulement un sous-ensemble appelé mini-lot. Les méthodes modernes utilisent aussi des variantes de la descente de gradient. Mais notre modèle à une seule variable contient déjà le mécanisme fondamental : une fonction d’erreur, une pente, un pas d’apprentissage et une suite de paramètres.
Il faut aussi distinguer deux objectifs. Minimiser l’erreur sur les données d’entraînement ne garantit pas automatiquement que le modèle fonctionnera bien sur de nouvelles données. Une machine peut même apprendre trop précisément les exemples fournis : c’est le problème du surapprentissage.
Je peux maintenant répondre à la problématique. Dans notre modèle, la dérivation indique comment modifier le paramètre pour faire diminuer l’erreur, puis une suite récurrente décrit les corrections successives. Cette suite devient même géométrique lorsque l’on étudie l’écart à la valeur optimale.
On peut alors prouver exactement que l’apprentissage converge si \[ 0<\eta<0{,}2. \] La dérivation explique donc la direction du mouvement, les suites décrivent son évolution et les limites permettent de savoir si la machine atteint réellement une valeur optimale.
Ce qui me paraît le plus intéressant, c’est qu’un mot très moderne comme « intelligence artificielle » conduit finalement à des notions classiques du programme de Terminale : dérivation, convexité, suites géométriques, inéquations et limites.
Autre limite : réduire l’erreur d’entraînement n’est pas le seul objectif. Un bon modèle doit aussi généraliser à des données qu’il n’a jamais vues.