Imagine caminhar por uma colina enevoada, sentindo a inclinação sob os seus pés e dando passos na direção da descida. O método do gradiente descendente faz o mesmo com uma função de perda. Calcula a inclinação, dá um passo e repete o processo até que a perda deixe de melhorar.

A taxa de aprendizagem controla o tamanho do passo. Se for demasiado grande, ultrapassa o mínimo. Se for demasiado pequena, o treino demora uma eternidade. Momentum, Adam e outros otimizadores adaptam a taxa durante o treino para acelerar a convergência.

variantes comuns

• Descida de gradiente em lote utilizando todos os dados
• Descida de gradiente estocástica utilizando uma amostra
• Descida de gradiente em mini-lotes utilizando pequenos grupos
• Momentum e métodos adaptativos como o Adam

As superfícies de perda não convexas tornam o processo complexo. Os pontos de sela, os mínimos locais e os planaltos dificultam o progresso. Na prática, os métodos estocásticos escapam às armadilhas superficiais e encontram boas soluções mesmo sem garantias de optimalidade global.