A classificação rotula uma imagem inteira. A segmentação rotula cada pixel. Esta tarefa divide uma imagem em regiões, atribuindo a cada pixel uma classe, como estrada, peão, céu ou tumor. É essencial para imagens médicas, condução autónoma e análise de imagens de satélite.

Três variantes são importantes. A segmentação semântica rotula cada pixel por categoria. A segmentação de instâncias distingue objetos individuais dentro de uma categoria. A segmentação panóptica combina ambas, rotulando cada pixel e separando as instâncias.

Arquiteturas de segmentação comuns

• U-Net para imagiologia biomédica
• Mask R-CNN para segmentação de instâncias
• DeepLab para segmentação semântica
• Segment Anything para máscaras de uso geral

A anotação é dispendiosa. A rotulagem de cada pixel num conjunto de dados leva muito mais tempo do que o desenho de caixas delimitadoras. A supervisão fraca e as ferramentas interativas ajudam, mas os dados de segmentação de alta qualidade continuam a ser um estrangulamento para novos domínios.