数据摄取将数据导入系统进行处理，是数据处理流程的第一步。数据来源包括数据库、API、日志文件、消息队列和传感器。摄取层负责收集、验证数据，并将其传递给存储或处理部门。如果摄取失败，下游所有流程都将停止。

该方法取决于数据源和延迟要求。批量摄取按预定时间间隔拉取数据，对于更新缓慢的数据源来说，这种方法简单高效。流式摄取则在数据到达时立即进行处理，这对于实时分析和事件驱动系统至关重要。工具各不相同：Kafka 用于高吞吐量流，Airflow 用于批量编排，云原生服务用于托管管道。但挑战却始终如一：数据源会在没有预警的情况下更改其模式；数据到达时间延迟或顺序错误；数据量会出现不可预测的峰值。摄取层必须处理所有这些问题，并且不能丢失或损坏数据。反压机制可以防止过载；死信队列用于捕获处理失败的记录；监控机制可以在问题扩散之前将其捕获。摄取就像管道系统，但如果管道系统出现问题，就会造成房屋被淹。

摄入模式

• 批量处理——按预定时间间隔进行拉取
• 流式处理——数据到达时持续进行处理
• 变更数据捕获——实时捕获数据库变更
• API轮询——定期向外部服务发出请求
• Webhooks——来自源系统的推送通知

数据摄取是入口。如果数据在此处丢失或损坏，下游的任何修复都无法恢复。