안개가 자욱한 언덕을 내려가는 모습을 상상해 보세요. 발밑의 경사를 느끼며 내려가는 방향으로 발을 내딛는 것이죠. 경사 하강법은 손실 함수에 대해 이와 같은 원리로 작동합니다. 경사를 계산하고, 한 걸음씩 나아가며, 손실이 더 이상 개선되지 않을 때까지 이 과정을 반복합니다.

학습률은 스텝 크기를 조절합니다. 너무 크면 최소값을 지나쳐 버리고, 너무 작으면 학습 시간이 너무 오래 걸립니다. Momentum, Adam 등의 최적화 알고리즘은 학습 중에 학습률을 조정하여 수렴 속도를 높입니다.

일반적인 변형

• 전체 데이터를 사용한 배치 경사 하강법
• 단일 샘플을 사용한 확률적 경사 하강법
• 소규모 그룹을 이용한 미니 배치 경사 하강법
• 모멘텀 및 Adam과 같은 적응형 방법

비볼록 손실 함수는 탐색 과정을 까다롭게 만듭니다. 안장점, 지역 최솟값, 그리고 평탄 구간은 모두 탐색 속도를 늦춥니다. 하지만 실제로 확률적 방법은 이러한 함정을 피하고 전역 최적해를 보장하지 않더라도 좋은 해를 찾아낼 수 있습니다.