数据工程师负责构建和维护数据传输和存储的基础设施。他们编写数据管道，管理数据库，并确保数据按时、以可用格式到达所需位置。数据科学家和分析师使用工程师生成的数据。如果数据管道出现故障，他们的工作也将停止。

随着数据量的增长，数据工程师的角色也随之扩展。早期的数据工程师管理关系型数据库和 ETL 脚本。而现代的数据工程师则使用云平台、分布式处理框架和流式处理系统。他们使用 Python、Scala 或 Java 编写代码，并且精通 SQL。他们知道如何设计模式、分区表和优化查询。他们还负责运维工作：监控、告警以及在凌晨三点发生故障时进行恢复。这份工作融合了软件工程、数据库管理和底层维护等多个方面。它并不光鲜亮丽，但却至关重要。如果一个数据科学家一半的时间都花在修复故障的管道上，那他就不是在做数据科学。优秀的数据工程师能够消除这些问题，确保管道运行顺畅，数据干净整洁，让分析师和科学家能够专注于他们真正的工作。

数据工程师职责

• 构建数据管道——提取、转换、加载数据
• 管理存储——数据库、数据湖、数据仓库
• 确保可靠性——监控、警报、恢复
• 优化性能——查询调优、分区
• 支持消费者——分析师、科学家、应用程序

数据工程师铺设道路，其他人则行驶在道路上。当道路状况良好时，没有人会注意到数据工程师的存在。