資料攝取將資料匯入系統進行處理，是資料處理流程的第一步。資料來源包括資料庫、API、日誌檔案、訊息佇列和感測器。攝取層負責收集、驗證數據，並將其傳遞給儲存或處理部門。如果攝取失敗，下游所有流程都將停止。

此方法取決於資料來源和延遲要求。批次攝取按預定時間間隔拉取數據，對於更新緩慢的資料來源來說，這種方法簡單且有效率。串流攝取則在資料到達時立即進行處理，這對於即時分析和事件驅動系統至關重要。工具各不相同：Kafka 用於高吞吐量流，Airflow 用於批量編排，雲端原生服務用於託管管道。但挑戰始終如一：資料來源會在沒有預警的情況下更改其模式；資料到達時間延遲或順序錯誤；資料量會出現不可預測的峰值。攝取層必須處理所有這些問題，且不能遺失或損壞資料。反壓機制可以防止過載；死信隊列用於捕獲處理失敗的記錄；監控機制可以在問題擴散之前將其捕獲。攝取就像管道系統，但如果管道系統出現問題，就會造成房屋淹水。

攝取模式

• 批次處理－依預定時間間隔進行拉取
• 串流處理－資料到達時持續進行處理
• 變更資料擷取－即時擷取資料庫變更
• API輪詢－定期向外部服務發出請求
• Webhooks－來自來源系統的推播通知

資料攝取是入口。如果資料在此處遺失或損壞，下游的任何修復都無法復原。