Eğitim için bir puanlama sistemi gereklidir. Kayıp fonksiyonu, bir modelin tahminlerinin ne kadar yanlış olduğunu ölçer ve optimize ediciye en aza indirgemesi gereken bir değer verir. Sınıflandırma için çapraz entropi, regresyon için ortalama karesel hata, özel görevler için ise özel kayıp fonksiyonları kullanılır.

Seçim, davranışı şekillendirir. Çapraz entropi üzerinde eğitilmiş bir model, kalibre edilmiş olasılıkları öğrenir. Menteşe kaybı üzerinde eğitilmiş bir model ise bir marj öğrenir. Aynı mimariye ve verilere sahip iki model, onlardan neyi minimize etmelerini istediğinize bağlı olarak çok farklı davranabilir.

Ortak kayıp fonksiyonları

• Regresyon için ortalama karesel hata
• Sınıflandırma için çapraz entropi
• Kenar boşluğuna dayalı sınıflandırıcılar için menteşe kaybı
• Gömme işlemleri için kontrast kaybı
• Benzerlik öğrenimi için üçlü kayıp fonksiyonu

Dengesiz veriler kayıp fonksiyonunu karmaşıklaştırır. Çapraz entropi üzerine eğitilmiş bir sınıflandırıcı, ağırlıklar ayarlanmadığı sürece çoğunluk sınıfını tercih edecektir. Odak kaybı ve sınıf ağırlıklandırması, ek ayarlama maliyeti karşılığında bu sorunu ele alır.