ETL 代表提取、转换和加载。几十年来,它一直是数据迁移到数据仓库的标准模式。提取从源系统中提取数据。转换对数据进行清洗、验证,并将其重塑为目标模式。加载将数据写入数据仓库。转换在加载之前进行,在单独的处理服务器上完成。数据仓库接收到的是干净的结构化数据。
ETL 工具不断发展演变。早期的 ETL 需要用 SQL 和脚本手动编写。Informatica 和 DataStage 等商业工具增加了图形界面和调度功能。Apache NiFi 和 Talend 等开源工具则进一步拓展了 ETL 的适用范围。其核心模式始终如一:提取、转换、加载 (ETL)。当目标系统无法处理转换工作负载、需要在加载前缩减数据量,或者监管要求敏感数据在离开受控环境前必须进行转换时,ETL 仍然是最佳选择。在数据仓库是计算能力有限的传统设备等遗留环境中,ETL 也十分常见。云数据仓库和 ELT 的兴起削弱了 ETL 的主导地位,但并未完全取代它。许多组织同时运行这两种工具:ETL 用于遗留系统和敏感数据,ELT 用于云原生管道。这种模式并未过时,它只是众多选择之一。
ETL特性
- 先进行转换——数据在加载前已清洗
- 独立处理——在专用服务器上进行转换
- 减少数据量——只有必要的数据才会到达仓库。
- 成熟——数十年的工具和实践经验
- 兼容传统系统——适用于传统仓库
ETL 是经典的流程管理模式,至今仍然有效。虽然它并非总是最佳选择,但很少出错。
Comments
No comments yet. Be the first to share a thought.
Leave a comment