数据转换是将数据从一种格式或结构转换为另一种格式或结构。例如，一个系统中存储为 03/14/2024 的日期在另一个系统中会变成 2024-03-14。分散在两个字段中的客户名称会被合并成一个字段。货币值会从欧元转换为美元。数据本身并没有改变，只是表示形式发生了变化。如果没有数据转换，系统之间就无法通信。

转换涵盖多种操作。数据清理用于修复错误并标准化格式。数据增强用于添加派生字段，例如根据出生日期计算年龄。聚合用于将明细行汇总为总计。连接用于合并来自多个数据源的数据。编码用于将分类值转换为数字，以便进行机器学习。每项操作都会以定义的方式更改数据。这些规则应该记录在案并进行版本控制。未记录的转换就像一个黑盒。当输出看起来错误时，没有人知道原因。转换还需要测试。如果连接操作删除了不匹配的行，就会悄无声息地丢失数据。如果日期解析器假定了错误的格式，则会损坏所有记录。微小的转换错误会在数百万行数据中累积。输出看起来合理，但实际上是错误的。这些是最难发现的错误。

常见变换

• 清理工作——规范格式并修复错误
• 丰富数据——添加衍生数据或外部数据
• 汇总——将详细信息汇总成总数
• 合并——将来自多个数据源的数据合并在一起
• 编码——将类别转换为数值

数据转换是数据发挥作用的关键所在，也是隐形错误滋生的温床。务必测试规则并做好记录。