A betanítás felépíti a modellt. A következtetés ezt használja. Miután a súlyok rögzítésre kerültek, a hálózat új bemenetet fogad és kimenetet állít elő, legyen az címke, valószínűség vagy generált mondat. Itt nem történik gradiensfrissítés.

A következtetés az, ahol a mesterséges intelligencia gazdaságossága megmutatkozik. A betanítás egyszer történik, néha hetek alatt. A következtetés milliószor történik meg, gyakran milliszekundumokban mért késleltetési keretek között. Egy modell, amely túl lassan reagál egy csevegőablakban vagy telefonon, haszontalan, függetlenül attól, hogy mennyire pontos.

Gyakori következtetési beállítások

• Köteles következtetés offline feldolgozáshoz
• Valós idejű következtetés interaktív alkalmazásokhoz
• Edge-következtetés helyi eszközökön
• Szerverkövetkeztetés adatközpontokban

Az optimalizálás az átviteli sebességre és a késleltetésre összpontosít. A kvantálás, a metszés és a speciális hardverek mind a következtetési útvonalat célozzák meg. Ugyanaz a modell nagyon eltérően viselkedhet attól függően, hogy hogyan szolgálják ki.