Миграция данных — это перемещение данных из одной системы в другую. Компания обновляет свою ERP-систему. Команда переходит с локальных баз данных в облако. Две организации объединяются и должны интегрировать свои системы. В процессе миграции данные переносятся, преобразуются в соответствии с новой схемой и проверяется, что ничего не было потеряно или повреждено. Звучит просто. Но так бывает редко.

Миграции терпят неудачу по предсказуемым причинам. Исходные данные оказываются более загрязненными, чем ожидалось. Целевая схема некорректно соответствует исходной. Бизнес-правила, встроенные в старую систему, не документированы. Миграция занимает больше времени, чем планировалось, и старая система выводится из эксплуатации до того, как новая будет готова. Требуется простой, а бизнес не может себе этого позволить. Лучшие миграции начинаются с профилирования. Необходимо понять исходные данные: их качество, особенности, объем. Сопоставить каждое поле с целевой системой. Написать правила преобразования. Протестировать на подмножестве данных перед миграцией всего. Запустить параллельные системы на некоторое время. Проверить количество записей, итоги и выборочные записи. Иметь план отката. Миграции рискованны, потому что затрагивают все. Пропущенное поле может нарушить последующий процесс. Поврежденная запись может оставаться незамеченной в течение нескольких месяцев. Планирование важнее выполнения. К моменту перемещения данных уже должны быть приняты важные решения.

Фазы миграции

• Профилирование — понимание качества и структуры исходных данных.
• Карта — определение сопоставления полей источника и цели.
• Преобразование — написание правил для преобразования данных.
• Тестирование — перенести подмножество данных и проверить результат.
• Выполнить — переместить весь набор данных
• Проверка — подтверждение количества, сумм и образцов.

Миграция данных — это проект, а не задача. Подойдите к нему со всей тщательностью и планированием.