Bộ lọc thư rác gắn cờ một email là thư rác vì nó đã thấy hàng nghìn tin nhắn đã được đánh dấu là "thư rác" hoặc "không phải thư rác". Đó chính là học có giám sát ở dạng thu nhỏ: một mô hình học cách ánh xạ từ đầu vào đến đầu ra bằng cách sử dụng các ví dụ mà câu trả lời đúng đã được biết trước. Mỗi cặp dữ liệu huấn luyện mang một nhãn, và thuật toán điều chỉnh các tham số nội bộ của nó cho đến khi các dự đoán của nó khớp với các nhãn đó đủ gần để có thể khái quát hóa cho dữ liệu mới.

Phương pháp này được chia thành hai nhóm lớn. Phân loại dự đoán một danh mục, chẳng hạn như khối u là lành tính hay ác tính. Hồi quy dự đoán một con số, chẳng hạn như nhiệt độ ngày mai hoặc giá nhà. Cả hai đều dựa trên cùng một vòng lặp cốt lõi: đưa ra dự đoán, đo lường sai số so với nhãn và điều chỉnh trọng số để giảm sai số đó.

Thuật toán phổ biến

• Hồi quy tuyến tính và hồi quy logistic cho các đường cơ sở đơn giản, dễ hiểu.
• Cây quyết định và rừng ngẫu nhiên cho dữ liệu dạng bảng
• Máy hỗ trợ vectơ cho phân loại dựa trên lề
• Mạng nơ-ron cho hình ảnh, giọng nói và ngôn ngữ

Việc gắn nhãn tốn kém cả tiền bạc và thời gian. Một bác sĩ X quang chú thích 10.000 hình ảnh quét là rất tốn kém; một nhóm người gắn nhãn cảm xúc thì chậm và ồn ào. Chi phí đó là lý do chính khiến các phương pháp học không giám sát và bán giám sát thu hút nhiều sự chú ý. Tuy nhiên, khi có nhiều nhãn sạch, học có giám sát vẫn là công cụ đáng tin cậy nhất.