Качество данных измеряет, насколько данные пригодны для их предполагаемого использования. Точность, полнота, согласованность, своевременность и достоверность. Плохие данные бывают разных видов: пропущенное значение, дублирующаяся запись, дата в неправильном формате, несуществующий адрес. Каждая ошибка имеет свою цену. Маркетинговая кампания рассылает письма по недействительным адресам. Финансовый отчет завышает выручку из-за дубликатов. Модель машинного обучения делает предвзятые прогнозы, потому что обучающие данные были неполными.

Качество данных — это не разовое решение, а практика. Определите параметры качества для каждого набора данных. Регулярно измеряйте их. Установите пороговые значения для приемлемого качества. Проводите расследование, когда показатели падают. Первопричины обычно кроются в проблемах с процессами, а не с технологиями. Ввод данных без проверки приводит к ошибкам. Системы, которые не используют общий идентификатор клиента, создают дубликаты. Процессы, допускающие неполные записи, создают пробелы. Исправление процесса предотвращает ошибки. Исправление данных без исправления процесса означает, что ошибки вернутся. Инструменты обеспечения качества данных помогают в профилировании, очистке и мониторинге. Они не заменяют ответственность. Кто-то должен нести ответственность за каждый набор данных. Без этой ответственности качество постоянно снижается.

Аспекты качества данных

• Точность — данные отражают реальность.
• Полнота — отсутствие пропущенных значений.
• Последовательность — одинаковые данные во всех системах.
• Актуальность — данные соответствуют действительности.
• Достоверность — данные соответствуют правилам.
• Уникальность — никаких дубликатов.

Качество данных – это работа каждого. Когда это не чья-либо задача, система терпит неудачу.