Quá trình huấn luyện xây dựng mô hình. Quá trình suy luận sử dụng mô hình đó. Sau khi các trọng số được cố định, mạng nơ-ron sẽ nhận đầu vào mới và tạo ra đầu ra, cho dù đó là nhãn, xác suất hay câu được tạo ra. Không có cập nhật gradient nào xảy ra ở đây.

Suy luận là nơi mà khía cạnh kinh tế của AI thể hiện rõ. Quá trình huấn luyện chỉ diễn ra một lần, đôi khi kéo dài hàng tuần. Quá trình suy luận diễn ra hàng triệu lần, thường với độ trễ được tính bằng mili giây. Một mô hình quá chậm để phản hồi trong cửa sổ trò chuyện hoặc trên điện thoại sẽ vô dụng, bất kể độ chính xác cao đến đâu.

Các thiết lập suy luận phổ biến

• Suy luận theo lô để xử lý ngoại tuyến
• Suy luận thời gian thực cho các ứng dụng tương tác
• Suy luận trên thiết bị cục bộ
• Suy luận máy chủ trong trung tâm dữ liệu

Việc tối ưu hóa tập trung vào thông lượng và độ trễ. Lượng tử hóa, cắt tỉa và phần cứng chuyên dụng đều nhắm vào đường dẫn suy luận. Cùng một mô hình có thể hoạt động rất khác nhau tùy thuộc vào cách nó được phục vụ.