データ変換とは、ある形式または構造のデータを別の形式または構造に変換することです。あるシステムで「03/14/2024」として保存されている日付は、別のシステムでは「2024-03-14」になります。2つのフィールドに分かれている顧客名は1つに統合されます。通貨の値はユーロからドルに変換されます。データ自体は同じですが、表現方法が変わります。変換を行わないと、システム同士は通信できません。

変換は、幅広い操作を網羅しています。クリーニングはエラーを修正し、フォーマットを標準化します。エンリッチメントは、生年月日から年齢を計算するなど、派生フィールドを追加します。集計は、詳細行を合計にまとめます。結合は、複数のソースからのデータを結合します。エンコーディングは、カテゴリ値を機械学習用の数値に変換します。各操作は、定義された方法でデータを変更します。ルールは文書化され、バージョン管理される必要があります。文書化されていない変換はブラックボックスです。出力が間違っているように見えても、誰もその理由を知りません。変換にはテストも必要です。一致しない行を削除する結合は、データを静かに失います。間違ったフォーマットを想定する日付パーサーは、すべてのレコードを破損します。小さな変換エラーは、数百万行にわたって蓄積されます。出力はもっともらしく見えますが、間違っています。これらは、最も見つけにくいエラーです。

一般的な変換

• クリーニング — フォーマットを標準化し、エラーを修正する
• エンリッチメント — 派生データまたは外部データを追加する
• 集計 — 詳細情報を合計値にまとめる
• 結合 — 複数のソースからのデータを組み合わせる
• エンコーディング — カテゴリを数値に変換する

変換こそが、データが有用になる段階です。同時に、そこでは潜在的なエラーが潜んでいます。ルールをテストし、文書化しましょう。