가중치를 학습하고 하이퍼파라미터를 선택합니다. 학습률, 배치 크기, 레이어 수, 드롭아웃 비율, 정규화 강도 등이 모두 이 범주에 속합니다. 이러한 요소들은 학습 진행 방식과 모델 구조를 제어합니다.
학습률을 잘못 설정하면 시간과 연산 자원이 낭비됩니다. 학습률이 너무 높으면 발산하고, 너무 낮으면 매우 느리게 진행됩니다. 배치 크기는 기울기 노이즈와 메모리 사용량에 영향을 미칩니다. 깊이와 너비는 처리 용량을 결정하며, 이는 작업의 복잡성과 데이터 크기에 맞춰야 합니다.
일반적인 튜닝 방법
- 고정된 집합에 대한 그리드 검색
- 더 넓은 범위를 다루기 위한 무작위 검색
- 효율성을 위한 베이지안 최적화
- 인구 기반 교육
- 직관에 따른 수동 튜닝
튜닝에는 비용이 많이 듭니다. 각 구성마다 전체 학습 과정을 거쳐야 하며, 탐색 공간은 빠르게 증가합니다. 숙련된 전문가들은 자동화 전에 도메인 지식을 활용하여 탐색 공간을 좁히는데, 이는 무차별 대입 방식보다 효과적인 경우가 많습니다.
Comments (2)
Leave a comment