Die Klassifizierung kennzeichnet ein gesamtes Bild. Die Segmentierung hingegen kennzeichnet jedes einzelne Pixel. Dabei wird ein Bild in Regionen unterteilt und jedes Pixel einer Klasse wie Straße, Fußgänger, Himmel oder Tumor zugeordnet. Dies ist unerlässlich für die medizinische Bildgebung, das autonome Fahren und die Satellitenanalyse.

Drei Varianten sind relevant. Die semantische Segmentierung ordnet jedes Pixel einer Kategorie zu. Die Instanzsegmentierung unterscheidet einzelne Objekte innerhalb einer Kategorie. Die panoptische Segmentierung kombiniert beides, indem sie jedes Pixel kennzeichnet und Instanzen trennt.

Gängige Segmentierungsarchitekturen

• U-Net für biomedizinische Bilder
• Mask R-CNN für Instanzsegmentierung
• DeepLab für semantische Segmentierung
• Segment Anything für Allzweckmasken

Die Annotation ist aufwändig. Jedes Pixel eines Datensatzes zu kennzeichnen, dauert deutlich länger als das Zeichnen von Begrenzungsrahmen. Schwache Überwachung und interaktive Werkzeuge sind hilfreich, doch hochwertige Segmentierungsdaten bleiben ein Engpass für neue Anwendungsgebiete.