Phân loại gán nhãn cho toàn bộ hình ảnh. Phân đoạn gán nhãn cho từng pixel. Nhiệm vụ này chia hình ảnh thành các vùng, gán cho mỗi pixel một lớp như đường, người đi bộ, bầu trời hoặc khối u. Nó rất cần thiết cho hình ảnh y tế, lái xe tự động và phân tích vệ tinh.

Có ba biến thể quan trọng. Phân đoạn ngữ nghĩa gán nhãn cho mỗi pixel theo danh mục. Phân đoạn đối tượng phân biệt các đối tượng riêng lẻ trong một danh mục. Phân đoạn toàn cảnh kết hợp cả hai, gán nhãn cho mọi pixel và phân tách các đối tượng.

Các kiến ​​trúc phân đoạn phổ biến

• U-Net dành cho hình ảnh y sinh
• Mask R-CNN để phân đoạn đối tượng
• DeepLab dành cho phân đoạn ngữ nghĩa
• Phân khúc Bất cứ thứ gì dành cho khẩu trang đa dụng

Việc chú thích dữ liệu rất tốn kém. Gắn nhãn cho từng pixel trong tập dữ liệu mất nhiều thời gian hơn so với việc vẽ các khung giới hạn. Giám sát yếu và các công cụ tương tác có thể giúp ích, nhưng dữ liệu phân đoạn chất lượng cao vẫn là một trở ngại đối với các lĩnh vực mới.