Klasyfikacja oznacza cały obraz. Segmentacja oznacza każdy piksel. Zadanie to dzieli obraz na obszary, przypisując każdy piksel do klasy, takiej jak droga, pieszy, niebo lub guz. Jest to niezbędne w obrazowaniu medycznym, autonomicznej jeździe i analizie satelitarnej.

Liczą się trzy warianty. Segmentacja semantyczna oznacza każdy piksel kategorią. Segmentacja instancji rozróżnia poszczególne obiekty w obrębie kategorii. Segmentacja panoptyczna łączy obie te metody, oznaczając każdy piksel i oddzielając instancje.

Typowe architektury segmentacji

• U-Net dla obrazów biomedycznych
• Maska R-CNN do segmentacji na przykładzie
• DeepLab do segmentacji semantycznej
• Segment Anything dla masek ogólnego przeznaczenia

Adnotacje są kosztowne. Oznaczenie każdego piksela w zbiorze danych zajmuje znacznie więcej czasu niż narysowanie ramek ograniczających. Słaby nadzór i narzędzia interaktywne pomagają, ale wysokiej jakości dane segmentacyjne pozostają wąskim gardłem dla nowych domen.