Классификация присваивает метки всему изображению. Сегментация присваивает метки каждому пикселю. Задача заключается в разделении изображения на области, присваивая каждому пикселю класс, например, дорога, пешеход, небо или опухоль. Это необходимо для медицинской визуализации, автономного вождения и анализа спутниковых снимков.

Важны три варианта. Семантическая сегментация присваивает каждому пикселю метку категории. Сегментация экземпляров различает отдельные объекты внутри категории. Паноптическая сегментация сочетает в себе оба подхода, присваивая метку каждому пикселю и разделяя экземпляры.

Типичные архитектуры сегментации

• U-Net для биомедицинских изображений
• Mask R-CNN для сегментации экземпляров
• DeepLab для семантической сегментации
• Сегмент «Все что угодно» для масок общего назначения

Аннотирование — дорогостоящий процесс. Разметка каждого пикселя в наборе данных занимает гораздо больше времени, чем рисование ограничивающих рамок. Слабое обучение с учителем и интерактивные инструменты помогают, но высококачественные данные для сегментации остаются узким местом для новых областей.