Klasifikace označuje celý obraz. Segmentace označuje každý pixel. Úkol rozděluje obraz do oblastí a přiřazuje každý pixel do třídy, jako je silnice, chodec, obloha nebo nádor. Je nezbytný pro lékařské zobrazování, autonomní řízení a satelitní analýzu.

Záleží na třech variantách. Sémantická segmentace označuje každý pixel podle kategorie. Segmentace instancí rozlišuje jednotlivé objekty v rámci kategorie. Panoptická segmentace kombinuje obojí, označuje každý pixel a odděluje instance.

Běžné architektury segmentace

• U-Net pro biomedicínské snímky
• Maska R-CNN pro segmentaci instancí
• DeepLab pro sémantickou segmentaci
• Segment Anything pro univerzální masky

Anotace je nákladná. Označení každého pixelu v datové sadě trvá mnohem déle než kreslení ohraničujících rámečků. Slabý dohled a interaktivní nástroje pomáhají, ale vysoce kvalitní segmentační data zůstávají úzkým hrdlem pro nové domény.