La classification attribue un étiquetage à l'image entière. La segmentation, quant à elle, étiquette chaque pixel. Cette tâche consiste à diviser une image en régions, en attribuant à chaque pixel une classe telle que route, piéton, ciel ou tumeur. Elle est essentielle pour l'imagerie médicale, la conduite autonome et l'analyse satellitaire.

Trois variantes sont importantes. La segmentation sémantique attribue une étiquette à chaque pixel en fonction de sa catégorie. La segmentation d'instances distingue les objets individuels au sein d'une catégorie. La segmentation panoptique combine les deux, en étiquetant chaque pixel et en séparant les instances.

Architectures de segmentation courantes

• U-Net pour les images biomédicales
• Mask R-CNN pour la segmentation d'instances
• DeepLab pour la segmentation sémantique
• Segment Anything pour les masques à usage général

L'annotation est coûteuse. Étiqueter chaque pixel d'un jeu de données prend beaucoup plus de temps que de tracer des cadres de délimitation. La supervision faible et les outils interactifs sont utiles, mais l'accès à des données de segmentation de haute qualité reste un obstacle pour les nouveaux domaines.