EN - FR - DE - ES - IT - PT -

LexiconDream

🎚️ Hiperparaméter

Egy konfigurációs beállítás, amely egy modell betanítási folyamatát vezérli.

Hiperparaméter

A súlyokat megtanuljuk. A hiperparamétereket kiválasztjuk. A tanulási ráta, a köteg mérete, a rétegek száma, a kiesési arány és a regularizáció erőssége mind ebbe a kategóriába tartozik. Ezek szabályozzák a betanítás menetét és a modell strukturálását.

A rossz elkövetés idő- és számítási pazarlással jár. A túl magas tanulási ráta divergenciát okoz. A túl alacsony feltérképezési sebesség. A köteg mérete befolyásolja a gradiens zajt és a memóriahasználatot. A mélység és a szélesség határozza meg a kapacitást, amelynek meg kell egyeznie a feladat összetettségével és az adatok méretével.

Gyakori hangolási módszerek

A finomhangolás költséges. Minden konfiguráció teljes betanítási futtatást igényel, és a keresési terület gyorsan növekszik. A tapasztalt szakemberek a terület ismeretével szűkítik a területet az automatizálás előtt, ami gyakran jobb, mint a nyers erővel történő keresés.

Comments (2)

  1. Stuart Price
    Hyperparameters are set before training starts. Parameters are learned during training. That's the key difference.
  2. Barbara Stein
    Tuning hyperparameters is more art than science. Grid search, random search, Bayesian optimization. There are many approaches.

Leave a comment