Làm sạch dữ liệu tìm và sửa lỗi trong dữ liệu. Các lỗi bao gồm dữ liệu trùng lặp, giá trị thiếu, định dạng không nhất quán, lỗi chính tả và các giá trị ngoại lai. Đây là phần ít hấp dẫn nhất trong công việc dữ liệu và thường tốn nhiều thời gian nhất. Các nhà phân tích cho biết họ dành từ 60% đến 80% thời gian cho việc làm sạch dữ liệu. Phần còn lại dành cho phân tích. Làm sạch dữ liệu là điều bắt buộc. Dữ liệu bẩn sẽ cho ra kết quả sai. Mô hình được huấn luyện trên dữ liệu xấu sẽ đưa ra dự đoán sai. Báo cáo được xây dựng trên dữ liệu trùng lặp sẽ làm tăng quá mức tổng số.

Công việc cần có phương pháp. Phân tích dữ liệu để hiểu cấu trúc và các vấn đề của nó. Chuẩn hóa định dạng: ngày tháng, số điện thoại, địa chỉ. Xử lý các giá trị thiếu bằng cách xóa bản ghi, điền giá trị hoặc gắn cờ để xem xét. Loại bỏ các bản ghi trùng lặp bằng cách sử dụng đối sánh mờ khi đối sánh chính xác không thành công. Xác thực dựa trên các ràng buộc đã biết. Ghi lại mọi chuyển đổi để quy trình có thể được tái tạo. Các công cụ tự động rất hữu ích, nhưng chúng không thể thay thế khả năng phán đoán. Một kịch bản làm sạch loại bỏ mọi giá trị ngoại lệ có thể xóa các trường hợp ngoại lệ hợp lệ. Một thuật toán loại bỏ trùng lặp có thể hợp nhất hai khách hàng khác nhau có cùng tên. Việc làm sạch đòi hỏi phải hiểu ngữ cảnh của dữ liệu, không chỉ cấu trúc của nó. Mục tiêu không phải là dữ liệu hoàn hảo. Mục tiêu là dữ liệu phù hợp với mục đích của nó. Các phân tích khác nhau chấp nhận các mức độ lộn xộn khác nhau.

Các nhiệm vụ làm sạch dữ liệu thông thường

• Loại bỏ dữ liệu trùng lặp — xóa hoặc hợp nhất các bản ghi trùng lặp
• Tiêu chuẩn hóa — định dạng nhất quán cho ngày tháng, tên, địa chỉ
• Xử lý giá trị thiếu — điền, xóa hoặc đánh dấu.
• Phát hiện dữ liệu ngoại lai — xác định và điều tra các điểm bất thường
• Xác thực — kiểm tra dựa trên các quy tắc và ràng buộc nghiệp vụ.

Làm sạch dữ liệu là cái giá phải trả cho một phân tích hữu ích. Bỏ qua bước này, phân tích sẽ trở nên vô giá trị. Thực hiện tốt bước này, mọi việc còn lại sẽ dễ dàng hơn.