EN - FR - DE - ES - IT - PT -

LexiconDream

🎚️ Hyperparameter

En konfigurasjonsinnstilling som styrer treningsprosessen til en modell.

Hyperparameter

Vekter læres. Hyperparametere velges. Læringshastighet, batchstørrelse, antall lag, frafallshastighet og regulariseringsstyrke faller alle inn under denne kategorien. De styrer hvordan treningen forløper og hvordan modellen er strukturert.

Å gjøre feil sløser med tid og databehandling. En for høy læringshastighet divergerer. For lave kravlesøk. Batchstørrelse påvirker gradientstøy og minnebruk. Dybde og bredde bestemmer kapasiteten, som må samsvare med oppgavens kompleksitet og datastørrelsen.

Vanlige tuningsmetoder

Justering er dyrt. Hver konfigurasjon krever en full treningsrunde, og søkeområdet vokser raskt. Erfarne utøvere begrenser området med domenekunnskap før de automatiserer, noe som ofte slår brute-force-søk.

Comments (2)

  1. Stuart Price
    Hyperparameters are set before training starts. Parameters are learned during training. That's the key difference.
  2. Barbara Stein
    Tuning hyperparameters is more art than science. Grid search, random search, Bayesian optimization. There are many approaches.

Leave a comment