Klasifikasi memberi label pada keseluruhan gambar. Segmentasi memberi label pada setiap piksel. Tugas ini membagi gambar menjadi beberapa wilayah, menetapkan setiap piksel ke dalam kelas seperti jalan, pejalan kaki, langit, atau tumor. Hal ini sangat penting untuk pencitraan medis, kendaraan otonom, dan analisis satelit.

Tiga varian penting. Segmentasi semantik memberi label pada setiap piksel berdasarkan kategori. Segmentasi instans membedakan objek individual dalam suatu kategori. Segmentasi panoptik menggabungkan keduanya, memberi label pada setiap piksel dan memisahkan instans.

Arsitektur segmentasi umum

• U-Net untuk gambar biomedis
• Mask R-CNN untuk segmentasi instance
• DeepLab untuk segmentasi semantik
• Segment Anything untuk masker serbaguna

Anotasi itu mahal. Memberi label pada setiap piksel dalam sebuah dataset membutuhkan waktu jauh lebih lama daripada menggambar kotak pembatas. Pengawasan yang lemah dan alat interaktif membantu, tetapi data segmentasi berkualitas tinggi tetap menjadi kendala bagi domain baru.