Váhy se učí. Hyperparametry se volí. Do této kategorie spadají rychlost učení, velikost dávky, počet vrstev, míra výpadků a síla regularizace. Řídí, jak trénování probíhá a jak je model strukturován.

Chybné pochopení znamená plýtvání časem a výpočty. Příliš vysoká rychlost učení diverguje. Příliš nízká procházení. Velikost dávky ovlivňuje gradientní šum a využití paměti. Hloubka a šířka určují kapacitu, která musí odpovídat složitosti úkolu a velikosti dat.

Běžné metody ladění

• Vyhledávání v mřížce nad pevnou množinou
• Náhodné vyhledávání pro širší pokrytí
• Bayesovská optimalizace pro efektivitu
• Školení zaměřené na populaci
• Manuální ladění vedené intuicí

Ladění je drahé. Každá konfigurace vyžaduje kompletní trénovací běh a prostor pro vyhledávání rychle roste. Zkušení odborníci zužují prostor pomocí znalostí domény před automatizací, což často překonává vyhledávání hrubou silou.