Pelatihan membangun model. Inferensi menggunakannya. Setelah bobot ditetapkan, jaringan menerima input baru dan menghasilkan output, baik itu label, probabilitas, atau kalimat yang dihasilkan. Tidak ada pembaruan gradien yang terjadi di sini.

Inferensi adalah tempat ekonomi AI terlihat. Pelatihan terjadi sekali, terkadang selama berminggu-minggu. Inferensi terjadi jutaan kali, seringkali dengan anggaran latensi yang diukur dalam milidetik. Model yang terlalu lambat untuk merespons di jendela obrolan atau di telepon tidak berguna, tidak peduli seberapa akuratnya.

Pengaturan inferensi umum

• Inferensi batch untuk pemrosesan offline
• Inferensi waktu nyata untuk aplikasi interaktif
• Inferensi tepi pada perangkat lokal
• Inferensi server di pusat data

Optimasi berfokus pada throughput dan latensi. Kuantisasi, pemangkasan, dan perangkat keras khusus semuanya menargetkan jalur inferensi. Model yang sama dapat berperilaku sangat berbeda tergantung pada bagaimana model tersebut disajikan.