La clasificación etiqueta la imagen completa. La segmentación etiqueta cada píxel. Esta tarea divide la imagen en regiones, asignando a cada píxel una clase, como carretera, peatón, cielo o tumor. Es fundamental para la obtención de imágenes médicas, la conducción autónoma y el análisis satelital.

Existen tres variantes importantes. La segmentación semántica etiqueta cada píxel por categoría. La segmentación de instancias distingue los objetos individuales dentro de una categoría. La segmentación panóptica combina ambas, etiquetando cada píxel y separando las instancias.

Arquitecturas de segmentación comunes

• U-Net para imágenes biomédicas
• Mask R-CNN para la segmentación de instancias
• DeepLab para segmentación semántica
• Segmento Cualquier cosa para mascarillas de uso general

La anotación es costosa. Etiquetar cada píxel de un conjunto de datos lleva mucho más tiempo que dibujar cuadros delimitadores. La supervisión débil y las herramientas interactivas ayudan, pero los datos de segmentación de alta calidad siguen siendo un obstáculo para los nuevos dominios.