データクリーニングとは、データ内のエラー（重複、欠損値、フォーマットの不整合、タイプミス、外れ値など）を見つけて修正することです。データ作業の中で最も地味な部分であり、多くの場合、最も時間のかかる作業です。アナリストは、時間の60～80%をクリーニングに費やしていると報告しています。残りの時間は分析に費やされます。クリーニングは必須です。汚れたデータは誤った結果を生み出します。質の悪いデータで学習したモデルは誤った予測をします。重複データに基づいて作成されたレポートは合計値を過大評価します。

作業は体系的に進められます。まず、データのプロファイリングを行い、その形状と問題点を把握します。次に、日付、電話番号、住所などの形式を標準化します。欠損値は、レコードの削除、値の補完、またはレビュー対象としてフラグ付けすることで処理します。完全一致が失敗した場合は、あいまい一致を使用してレコードの重複を排除します。既知の制約に対して検証を行います。すべての変換を文書化し、プロセスを再現できるようにします。自動化ツールは役立ちますが、判断に取って代わるものではありません。すべての外れ値を削除するクリーニングスクリプトは、正当なエッジケースを削除してしまう可能性があります。重複排除アルゴリズムは、同じ名前の異なる顧客を2人マージしてしまう可能性があります。クリーニングには、データの構造だけでなく、そのコンテキストを理解することが必要です。目標は完璧なデータではなく、目的に適したデータです。分析の種類によって許容されるデータの乱れのレベルは異なります。

一般的なデータクリーニング作業

• 重複排除 — 重複レコードを削除または結合する
• 標準化 ― 日付、名前、住所などの形式を統一する
• 欠損値の処理 — 補完、削除、またはフラグ付け
• 外れ値検出 — 異常を特定し調査する
• 検証 — ビジネスルールと制約に照らし合わせて確認する

データクレンジングは、有用な分析を行うための代償である。これを怠れば、分析は無意味になる。適切に行えば、その後の作業は容易になる。