EN - FR - DE - ES - IT - PT -

LexiconDream

🎚️ Hyperparameter

En inställning som styr en modells träningsprocess.

Hyperparameter

Vikter lärs in. Hyperparametrar väljs. Inlärningshastighet, batchstorlek, antal lager, bortfallsfrekvens och regulariseringsstyrka faller alla inom denna kategori. De styr hur träningen fortskrider och hur modellen struktureras.

Att göra fel slösar tid och beräkningsförmåga. En för hög inlärningshastighet leder till divergeringar. För låga crawlningar. Batchstorlek påverkar gradientbrus och minnesanvändning. Djup och bredd avgör kapaciteten, som måste matcha uppgiftens komplexitet och datastorleken.

Vanliga inställningsmetoder

Justering är dyrt. Varje konfiguration kräver en fullständig träningskörning, och sökområdet växer snabbt. Erfarna utövare begränsar området med domänkunskap innan de automatiserar, vilket ofta slår brute-force-sökning.

Comments (2)

  1. Stuart Price
    Hyperparameters are set before training starts. Parameters are learned during training. That's the key difference.
  2. Barbara Stein
    Tuning hyperparameters is more art than science. Grid search, random search, Bayesian optimization. There are many approaches.

Leave a comment