EN - FR - DE - ES - IT - PT -

LexiconDream

🎚️ Hyperparameter

En konfigurationsindstilling, der styrer en models træningsprocessen.

Hyperparameter

Vægte læres. Hyperparametre vælges. Læringshastighed, batchstørrelse, antal lag, frafaldshastighed og regulariseringsstyrke falder alle ind under denne kategori. De styrer, hvordan træningen forløber, og hvordan modellen er struktureret.

At gøre forkert spilder tid og beregninger. En for høj læringshastighed divergerer. For lave crawls. Batchstørrelse påvirker gradientstøj og hukommelsesforbrug. Dybde og bredde bestemmer kapaciteten, som skal matche opgavens kompleksitet og datastørrelsen.

Almindelige tuningsmetoder

Justering er dyrt. Hver konfiguration kræver en fuld træningskørsel, og søgeområdet vokser hurtigt. Erfarne praktikere indsnævrer området med domæneviden, før de automatiserer, hvilket ofte slår brute-force-søgning.

Comments (2)

  1. Stuart Price
    Hyperparameters are set before training starts. Parameters are learned during training. That's the key difference.
  2. Barbara Stein
    Tuning hyperparameters is more art than science. Grid search, random search, Bayesian optimization. There are many approaches.

Leave a comment