EN - FR - DE - ES - IT - PT -

LexiconDream

🎚️ Hyperparameter

Een instelling die het trainingsproces van een model stuurt.

Hyperparameter

Gewichten worden geleerd. Hyperparameters worden gekozen. Leersnelheid, batchgrootte, aantal lagen, dropout-percentage en regularisatiestärke vallen allemaal in deze categorie. Ze bepalen hoe de training verloopt en hoe het model is opgebouwd.

Foutieve keuzes leiden tot tijd- en rekenverspilling. Een te hoge leerfrequentie zorgt voor divergentie, een te lage voor traagheid. De batchgrootte beïnvloedt de gradiëntruis en het geheugengebruik. Diepte en breedte bepalen de capaciteit, die moet aansluiten bij de complexiteit van de taak en de omvang van de data.

Gangbare afstemmethoden

Het afstemmen van een systeem is kostbaar. Elke configuratie vereist een volledige trainingssessie en de zoekruimte groeit snel. Ervaren professionals verkleinen de ruimte met behulp van domeinkennis voordat ze automatiseren, wat vaak beter is dan een brute-force-zoekmethode.

Comments (2)

  1. Stuart Price
    Hyperparameters are set before training starts. Parameters are learned during training. That's the key difference.
  2. Barbara Stein
    Tuning hyperparameters is more art than science. Grid search, random search, Bayesian optimization. There are many approaches.

Leave a comment