Imaginez descendre une colline brumeuse, sentir la pente sous vos pieds et avancer dans la direction du dénivelé. La descente de gradient fonctionne de la même manière avec une fonction de perte. Elle calcule la pente, effectue un pas et répète l'opération jusqu'à ce que la perte cesse de diminuer.

Le taux d'apprentissage détermine la taille du pas. S'il est trop élevé, on dépasse le minimum. S'il est trop faible, l'entraînement est interminable. Les algorithmes d'optimisation comme Momentum, Adam et autres adaptent ce taux pendant l'entraînement pour accélérer la convergence.

variantes courantes

• Descente de gradient par lots utilisant toutes les données
• Descente de gradient stochastique utilisant un seul échantillon
• Descente de gradient par mini-lots utilisant de petits groupes
• L'élan et les méthodes adaptatives comme Adam

Les surfaces de perte non convexes complexifient le processus. Les points de selle, les minima locaux et les plateaux ralentissent la progression. En pratique, les méthodes stochastiques parviennent à échapper aux pièges superficiels et à trouver de bonnes solutions même sans garantie d'optimalité globale.