Обучение с учителем требует ответов. Метка — это целевое значение, присваиваемое обучающему примеру, то, что модель должна предсказать. Изображение кошки с пометкой «кошка». Заявка на кредит с пометкой «просрочено» или «погашено». Предложение с пометкой «положительное» или «отрицательное».

Качество разметки определяет качество модели. Шумные метки учат модель воспроизводить ошибки. Неоднозначные метки сбивают с толку границы принятия решений. Отсутствие меток оставляет пробелы в покрытии. Специалисты тратят на разметку гораздо больше времени, чем ожидают посторонние.

Общие подходы к маркировке

• Аннотирование выполняется квалифицированными специалистами.
• Краудсорсинг с проверкой качества.
• Автоматическая разметка на основе эвристических методов
• Слабый контроль со стороны множества источников.
• Активное обучение для определения приоритетности неопределенных случаев.

Для решения некоторых задач необходимы специалисты по разметке данных. Медицинская визуализация, юридические документы и научные данные требуют знаний в данной области, которые недоступны широкой аудитории. Стоимость экспертной разметки часто составляет значительную часть бюджета нового проекта.