Представьте, что вы спускаетесь по туманному склону, чувствуете уклон под ногами и делаете шаги в направлении спуска. Градиентный спуск делает то же самое с функцией потерь. Он вычисляет уклон, делает шаг и повторяет процесс до тех пор, пока функция потерь не перестанет улучшаться.

Скорость обучения контролирует размер шага. Слишком большой шаг приведет к превышению минимума. Слишком маленький шаг приведет к тому, что обучение займет целую вечность. Momentum, Adam и другие оптимизаторы адаптируют скорость во время обучения для ускорения сходимости.

Распространенные варианты

• Пакетный градиентный спуск с использованием всех данных
• Стохастический градиентный спуск с использованием одной выборки
• Градиентный спуск с использованием мини-пакетов и малых групп
• Методы импульса и адаптивные методы, такие как Adam.

Невыпуклые поверхности потерь усложняют задачу. Седловые точки, локальные минимумы и плато замедляют прогресс. На практике стохастические методы позволяют избежать ловушек неглубокого пространства и находят хорошие решения даже без гарантий глобальной оптимальности.