Klassificering mærker et helt billede. Segmentering mærker hver pixel. Opgaven opdeler et billede i regioner og tildeler hver pixel til en klasse, såsom vej, fodgænger, himmel eller tumor. Det er afgørende for medicinsk billeddannelse, autonom kørsel og satellitanalyse.

Tre varianter er vigtige. Semantisk segmentering mærker hver pixel efter kategori. Instanssegmentering adskiller individuelle objekter inden for en kategori. Panoptisk segmentering kombinerer begge dele ved at mærke hver pixel og adskille instanser.

Almindelige segmenteringsarkitekturer

• U-Net til biomedicinske billeder
• Mask R-CNN for eksempel segmentering
• DeepLab til semantisk segmentering
• Segmentér Alt til universalmasker

Annotering er dyrt. Det tager langt længere tid at mærke hver pixel i et datasæt end at tegne afgrænsningsbokse. Svag overvågning og interaktive værktøjer hjælper, men segmenteringsdata af høj kvalitet er fortsat en flaskehals for nye domæner.