Các trọng số được học. Các siêu tham số được lựa chọn. Tốc độ học, kích thước lô, số lớp, tỷ lệ dropout và độ mạnh của chuẩn hóa đều thuộc loại này. Chúng kiểm soát cách thức huấn luyện diễn ra và cấu trúc của mô hình.

Việc thiết lập sai các thông số này sẽ lãng phí thời gian và tài nguyên tính toán. Tốc độ học quá cao sẽ dẫn đến hiện tượng phân kỳ. Quá thấp sẽ khiến quá trình học diễn ra chậm chạp. Kích thước batch ảnh hưởng đến nhiễu gradient và mức sử dụng bộ nhớ. Độ sâu và độ rộng xác định dung lượng, cần phải phù hợp với độ phức tạp của nhiệm vụ và kích thước dữ liệu.

Các phương pháp điều chỉnh phổ biến

• Tìm kiếm lưới trên một tập hợp cố định
• Tìm kiếm ngẫu nhiên để có phạm vi phủ sóng rộng hơn
• Tối ưu hóa Bayes để đạt hiệu quả cao
• Đào tạo dựa trên dân số
• Điều chỉnh thủ công dựa trên trực giác

Việc tinh chỉnh rất tốn kém. Mỗi cấu hình yêu cầu một quá trình huấn luyện đầy đủ, và không gian tìm kiếm nhanh chóng mở rộng. Những người có kinh nghiệm sẽ thu hẹp không gian tìm kiếm bằng kiến ​​thức chuyên môn trước khi tự động hóa, điều này thường hiệu quả hơn so với tìm kiếm bằng phương pháp vét cạn.