Очистка данных выявляет и исправляет ошибки в данных. Дубликаты, пропущенные значения, несоответствия форматов, опечатки и выбросы. Это наименее привлекательная часть работы с данными и зачастую самая трудоемкая. Аналитики сообщают, что тратят от 60 до 80 процентов своего времени на очистку. Остальное уходит на анализ. Очистка не является необязательной. Грязные данные приводят к неверным результатам. Модель, обученная на некачественных данных, делает неверные прогнозы. Отчет, построенный на дубликатах, завышает итоговые значения.

Работа носит методичный характер. Необходимо провести профилирование данных, чтобы понять их структуру и выявить проблемы. Стандартизировать форматы: даты, номера телефонов, адреса. Обрабатывать пропущенные значения, удаляя записи, заменяя их или помечая для проверки. Удалять дубликаты записей с помощью нечеткого сопоставления, если точное совпадение не удается. Проверять соответствие известным ограничениям. Документировать каждое преобразование, чтобы процесс был воспроизводимым. Автоматизированные инструменты помогают, но не заменяют экспертную оценку. Скрипт очистки, удаляющий все выбросы, может удалить и допустимые крайние случаи. Алгоритм дедупликации может объединить двух разных клиентов с одинаковым именем. Очистка требует понимания контекста данных, а не только их структуры. Цель — не идеальные данные, а данные, пригодные для использования по назначению. Различные анализы допускают разный уровень несовершенства.

Типичные задачи по очистке данных

• Дедупликация — удаление или объединение повторяющихся записей.
• Стандартизация — единообразный формат для дат, имен, адресов.
• Обработка пропущенных значений — заполнение пропущенных значений, удаление пропущенных значений или пометка пропущенных значений.
• Выявление выбросов — обнаружение и исследование аномалий.
• Валидация — проверка на соответствие бизнес-правилам и ограничениям.

Очистка данных — это цена полезного анализа. Если её пропустить, анализ окажется бесполезным. Если же сделать это качественно, всё остальное станет проще.