Klassificering märker en hel bild. Segmentering märker varje pixel. Uppgiften delar upp en bild i regioner och tilldelar varje pixel en klass som väg, fotgängare, himmel eller tumör. Det är viktigt för medicinsk avbildning, autonom körning och satellitanalys.

Tre varianter spelar roll. Semantisk segmentering märker varje pixel efter kategori. Instanssegmentering särskiljer enskilda objekt inom en kategori. Panoptisk segmentering kombinerar båda, märker varje pixel och separerar instanser.

Vanliga segmenteringsarkitekturer

• U-Net för biomedicinska bilder
• Maskera R-CNN för exempelsegmentering
• DeepLab för semantisk segmentering
• Segmentera vad som helst för universalmasker

Annotering är kostsamt. Att märka varje pixel i en datauppsättning tar mycket längre tid än att rita avgränsande rutor. Svag övervakning och interaktiva verktyg hjälper, men högkvalitativ segmenteringsdata är fortfarande en flaskhals för nya domäner.