Η εκπαίδευση χτίζει το μοντέλο. Η συμπερασματολογία το χρησιμοποιεί. Μόλις καθοριστούν τα βάρη, το δίκτυο λαμβάνει νέα δεδομένα εισόδου και παράγει δεδομένα εξόδου, είτε πρόκειται για ετικέτα, πιθανότητα είτε για παραγόμενη πρόταση. Δεν συμβαίνουν ενημερώσεις διαβάθμισης εδώ.

Η συμπερασματολογία είναι το σημείο όπου εμφανίζονται τα οικονομικά της Τεχνητής Νοημοσύνης. Η εκπαίδευση γίνεται μία φορά, μερικές φορές σε διάστημα εβδομάδων. Η συμπερασματολογία γίνεται εκατομμύρια φορές, συχνά κάτω από προϋπολογισμούς καθυστέρησης που μετρώνται σε χιλιοστά του δευτερολέπτου. Ένα μοντέλο που είναι πολύ αργό για να απαντήσει σε ένα παράθυρο συνομιλίας ή σε ένα τηλέφωνο είναι άχρηστο, όσο ακριβές κι αν είναι.

Κοινές ρυθμίσεις συμπερασμάτων

• Συμπερασματολογία παρτίδας για επεξεργασία εκτός σύνδεσης
• Συμπερασματολογία σε πραγματικό χρόνο για διαδραστικές εφαρμογές
• Συμπερασματολογία ακμών σε τοπικές συσκευές
• Συμπερασματολογία διακομιστή σε κέντρα δεδομένων

Η βελτιστοποίηση εστιάζει στην απόδοση και την καθυστέρηση. Η κβάντωση, το κλάδεμα και το εξειδικευμένο υλικό στοχεύουν όλα στη διαδρομή συμπερασμού. Το ίδιο μοντέλο μπορεί να συμπεριφέρεται πολύ διαφορετικά ανάλογα με τον τρόπο που εξυπηρετείται.