Φανταστείτε να κατεβαίνετε έναν ομιχλώδη λόφο, να νιώθετε την κλίση κάτω από τα πόδια σας και να κάνετε βήματα προς την κατεύθυνση που κατεβαίνει. Η κατάβαση με κλίση κάνει το ίδιο με μια συνάρτηση απώλειας. Υπολογίζει την κλίση, κάνει ένα βήμα και επαναλαμβάνει μέχρι να σταματήσει να βελτιώνεται η απώλεια.

Ο ρυθμός εκμάθησης ελέγχει το μέγεθος του βήματος. Πολύ μεγάλο και ξεπερνάτε το ελάχιστο. Πολύ μικρό και η εκπαίδευση διαρκεί για πάντα. Οι Momentum, Adam και άλλοι βελτιστοποιητές προσαρμόζουν τον ρυθμό κατά τη διάρκεια της εκπαίδευσης στη σύγκλιση ταχύτητας.

Κοινές παραλλαγές

• Μαζική κατάβαση κλίσης χρησιμοποιώντας όλα τα δεδομένα
• Στοχαστική κλίση καθόδου χρησιμοποιώντας ένα δείγμα
• Μίνι-παρτίδα κατάβασης με κλίση χρησιμοποιώντας μικρές ομάδες
• Ορμή και προσαρμοστικές μέθοδοι όπως ο Adam

Οι μη κυρτές επιφάνειες απώλειας καθιστούν το ταξίδι δύσκολο. Τα σημεία σαγματικής καμπύλης, τα τοπικά ελάχιστα και τα πλατό επιβραδύνουν την πρόοδο. Στην πράξη, οι στοχαστικές μέθοδοι ξεφεύγουν από τις ρηχές παγίδες και βρίσκουν καλές λύσεις ακόμη και χωρίς εγγυήσεις καθολικής βελτιστοποίησης.