Klassifisering merker et helt bilde. Segmentering merker hver piksel. Oppgaven deler et bilde inn i regioner, og tilordner hver piksel til en klasse som vei, fotgjenger, himmel eller svulst. Det er viktig for medisinsk avbildning, autonom kjøring og satellittanalyse.

Tre varianter teller. Semantisk segmentering merker hver piksel etter kategori. Instanssegmentering skiller individuelle objekter innenfor en kategori. Panoptisk segmentering kombinerer begge deler, merker hver piksel og skiller instanser.

Vanlige segmenteringsarkitekturer

• U-Net for biomedisinske bilder
• Mask R-CNN for eksempel segmentering
• DeepLab for semantisk segmentering
• Segmenter Alt for generelle masker

Annotering er kostbart. Det tar mye lengre tid å merke hver piksel i et datasett enn å tegne avgrensningsbokser. Svak overvåking og interaktive verktøy hjelper, men segmenteringsdata av høy kvalitet er fortsatt en flaskehals for nye domener.