Τα σύνθετα μοντέλα απομνημονεύουν. Η κανονικοποίηση τιμωρεί την πολυπλοκότητα, ωθώντας το μοντέλο προς απλούστερες λύσεις που γενικεύουν καλύτερα. Είναι ένα από τα πιο αξιόπιστα εργαλεία κατά της υπερπροσαρμογής.

Η κανονικοποίηση L2 προσθέτει μια ποινή ανάλογη με το τετράγωνο των βαρών, συρρικνώνοντάς τα προς το μηδέν. Η L1 ενθαρρύνει την αραιότητα τιμωρώντας τις απόλυτες τιμές. Η απόρριψη απενεργοποιεί τυχαία τους νευρώνες κατά τη διάρκεια της εκπαίδευσης, αναγκάζοντας το δίκτυο να είναι ανθεκτικό. Η πρόωρη διακοπή διακόπτει την εκπαίδευση όταν η απώλεια επικύρωσης σταματά να βελτιώνεται.

Κοινές μέθοδοι κανονικοποίησης

• Ποινές βάρους L1 και L2
• Εγκατάλειψη
• Πρόωρη διακοπή
• Επαύξηση δεδομένων
• Ομαλοποίηση παρτίδας

Η υπερβολική κανονικοποίηση προκαλεί υποπροσαρμογή. Το μοντέλο γίνεται πολύ απλό για να αποτυπώσει πραγματικά μοτίβα. Η ρύθμιση της ισχύος είναι μέρος της τέχνης και η διασταυρούμενη επικύρωση συνήθως καθοδηγεί την επιλογή.