Gewichten worden geleerd. Hyperparameters worden gekozen. Leersnelheid, batchgrootte, aantal lagen, dropout-percentage en regularisatiestärke vallen allemaal in deze categorie. Ze bepalen hoe de training verloopt en hoe het model is opgebouwd.
Foutieve keuzes leiden tot tijd- en rekenverspilling. Een te hoge leerfrequentie zorgt voor divergentie, een te lage voor traagheid. De batchgrootte beïnvloedt de gradiëntruis en het geheugengebruik. Diepte en breedte bepalen de capaciteit, die moet aansluiten bij de complexiteit van de taak en de omvang van de data.
Gangbare afstemmethoden
- Rasterzoekactie over een vaste verzameling
- Willekeurige zoekopdracht voor een bredere dekking
- Bayesiaanse optimalisatie voor efficiëntie
- Op de bevolking gebaseerde training
- Handmatig stemmen op basis van intuïtie.
Het afstemmen van een systeem is kostbaar. Elke configuratie vereist een volledige trainingssessie en de zoekruimte groeit snel. Ervaren professionals verkleinen de ruimte met behulp van domeinkennis voordat ze automatiseren, wat vaak beter is dan een brute-force-zoekmethode.
Comments (2)
Leave a comment