Tänk dig att du går nerför en dimmig backe, känner lutningen under dina fötter och kliver i den riktning som går nedåt. Gradient descent gör detsamma med en förlustfunktion. Den beräknar lutningen, tar ett steg och upprepar tills förlusten slutar förbättras.

Inlärningshastigheten styr stegstorleken. För stor och du överskrider minimum. För liten och träningen tar en evighet. Momentum, Adam och andra optimerare anpassar hastigheten under träning för att påskynda konvergensen.

Vanliga varianter

• Batchgradientnedgång med all data
• Stokastisk gradientnedgång med ett prov
• Mini-batch gradientnedstigning med små grupper
• Momentum och adaptiva metoder som Adam

Icke-konvexa förlustytor gör resan knepig. Sadelpunkter, lokala minima och platåer saktar alla ner utvecklingen. I praktiken undkommer stokastiska metoder ytliga fällor och hittar bra lösningar även utan garantier för global optimalitet.