Classificatie labelt een hele afbeelding. Segmentatie labelt elke pixel. Bij deze taak wordt een afbeelding opgedeeld in regio's, waarbij elke pixel wordt toegewezen aan een klasse zoals weg, voetganger, lucht of tumor. Het is essentieel voor medische beeldvorming, autonoom rijden en satellietanalyse.

Drie varianten zijn van belang. Semantische segmentatie labelt elke pixel met een categorie. Instantiesegmentatie onderscheidt individuele objecten binnen een categorie. Panoptische segmentatie combineert beide, waarbij elke pixel wordt gelabeld en instanties worden gescheiden.

Gangbare segmentatiearchitecturen

• U-Net voor biomedische afbeeldingen
• Mask R-CNN voor instantiesegmentatie
• DeepLab voor semantische segmentatie
• Segment Anything voor algemene maskers

Annotatie is kostbaar. Het labelen van elke pixel in een dataset duurt veel langer dan het tekenen van begrenzingskaders. Zwakke supervisie en interactieve tools helpen, maar hoogwaardige segmentatiegegevens blijven een knelpunt voor nieuwe domeinen.