Η εκπαίδευση χρειάζεται μια βαθμολογία. Η συνάρτηση απώλειας μετρά πόσο λανθασμένες είναι οι προβλέψεις ενός μοντέλου, δίνοντας στον βελτιστοποιητή κάτι που πρέπει να ελαχιστοποιήσει. Διασταυρούμενη εντροπία για ταξινόμηση. Μέσο τετραγωνικό σφάλμα για παλινδρόμηση. Προσαρμοσμένες απώλειες για εξειδικευμένες εργασίες.

Η επιλογή διαμορφώνει τη συμπεριφορά. Ένα μοντέλο εκπαιδευμένο στην διασταυρούμενη εντροπία μαθαίνει βαθμονομημένες πιθανότητες. Ένα μοντέλο εκπαιδευμένο στην απώλεια άρθρωσης μαθαίνει ένα περιθώριο. Δύο μοντέλα με πανομοιότυπες αρχιτεκτονικές και δεδομένα μπορούν να συμπεριφέρονται πολύ διαφορετικά ανάλογα με το τι τους ζητάτε να ελαχιστοποιήσουν.

Κοινές συναρτήσεις απώλειας

• Μέσο τετραγωνικό σφάλμα για παλινδρόμηση
• Διασταυρούμενη εντροπία για ταξινόμηση
• Απώλεια άρθρωσης για ταξινομητές που βασίζονται σε περιθώρια
• Απώλεια σύγκρισης για ενσωματώσεις
• Απώλεια τριπλετών για μάθηση ομοιότητας

Τα μη ισορροπημένα δεδομένα περιπλέκουν την απώλεια. Ένας ταξινομητής που έχει εκπαιδευτεί σε διασταυρούμενη εντροπία θα ευνοήσει την πλειοψηφική κλάση, εκτός εάν προσαρμοστούν τα βάρη. Η εστιακή απώλεια και η στάθμιση της κλάσης αντιμετωπίζουν το πρόβλημα, με κόστος πρόσθετου συντονισμού.