Преобразование данных переводит данные из одного формата или структуры в другой. Дата, хранящаяся как 03/14/2024 в одной системе, становится 2024-03-14 в другой. Имя клиента, разделенное на два поля, объединяется в одно. Значения валюты конвертируются из евро в доллары. Данные остаются теми же. Меняется лишь их представление. Без преобразования системы не могут взаимодействовать друг с другом.

Преобразование охватывает широкий спектр операций. Очистка исправляет ошибки и стандартизирует форматы. Обогащение добавляет производные поля, например, вычисляет возраст по дате рождения. Агрегация суммирует строки с подробными данными в итоговые значения. Объединение объединяет данные из нескольких источников. Кодирование преобразует категориальные значения в числа для машинного обучения. Каждая операция изменяет данные определенным образом. Правила должны быть задокументированы и контролироваться версиями. Недокументированное преобразование — это «черный ящик». Когда результат выглядит неправильно, никто не знает почему. Преобразования также нуждаются в тестировании. Объединение, которое удаляет несовпадающие строки, незаметно приводит к потере данных. Парсер дат, который предполагает неправильный формат, повреждает каждую запись. Небольшие ошибки преобразования накапливаются на миллионах строк. Результат выглядит правдоподобно, но на самом деле неверен. Это самые сложные ошибки для обнаружения.

Общие преобразования

• Очистка — стандартизация форматов и исправление ошибок.
• Обогащение — добавление производных или внешних данных.
• Агрегирование — обобщение подробных данных в итоговые суммы.
• Объединение — комбинирование данных из нескольких источников.
• Кодирование — преобразование категорий в числовые значения.

Преобразование — это тот этап, на котором данные становятся полезными. Именно здесь также зарождаются скрытые ошибки. Проверяйте правила и документируйте их.