Pelatihan membutuhkan skor. Fungsi kerugian mengukur seberapa salah prediksi model, memberikan pengoptimal sesuatu untuk diminimalkan. Entropi silang untuk klasifikasi. Kesalahan kuadrat rata-rata untuk regresi. Kerugian khusus untuk tugas-tugas khusus.

Pilihan tersebut membentuk perilaku. Model yang dilatih berdasarkan cross-entropy mempelajari probabilitas yang terkalibrasi. Model yang dilatih berdasarkan hinge loss mempelajari margin. Dua model dengan arsitektur dan data yang identik dapat berperilaku sangat berbeda tergantung pada apa yang Anda minta untuk diminimalkan.

Fungsi kerugian umum

• Kesalahan kuadrat rata-rata untuk regresi
• Entropi silang untuk klasifikasi
• Kerugian engsel untuk pengklasifikasi berbasis margin
• Kerugian kontrastif untuk penyematan
• Kerugian triplet untuk pembelajaran kesamaan

Data yang tidak seimbang mempersulit perhitungan loss. Sebuah classifier yang dilatih berdasarkan cross-entropy akan lebih mengutamakan kelas mayoritas kecuali jika bobot disesuaikan. Focal loss dan pembobotan kelas mengatasi masalah ini, dengan biaya penyetelan tambahan.