Một quy trình xử lý dữ liệu (data pipeline) di chuyển dữ liệu từ nguồn đến đích thông qua một loạt các bước. Trích xuất từ ​​nguồn. Chuyển đổi dữ liệu để phù hợp với đích đến. Tải dữ liệu vào kho lưu trữ. Sau đó, cung cấp dữ liệu để phân tích. Quy trình này chạy tự động, theo lịch trình hoặc phản hồi lại các sự kiện. Nó xử lý các công đoạn trung gian để các nhà phân tích và nhà khoa học dữ liệu có thể tập trung vào việc sử dụng dữ liệu thay vì di chuyển dữ liệu.

Các pipeline có phạm vi từ đơn giản đến phức tạp. Một công việc chạy hàng đêm sao chép tệp CSV là một pipeline. Một hệ thống xử lý dữ liệu theo luồng xử lý hàng triệu sự kiện mỗi giây cũng là một pipeline. Các công cụ cũng rất đa dạng: Airflow, Dagster, Prefect để điều phối; Kafka, Kinesis và Pub/Sub để xử lý dữ liệu theo luồng; dbt để chuyển đổi dữ liệu. Thách thức thì luôn giống nhau. Nguồn dữ liệu thay đổi mà không báo trước. Dữ liệu đến muộn hoặc bị lỗi. Công việc thất bại lúc 2 giờ sáng và không ai nhận ra cho đến khi báo cáo buổi sáng trống rỗng. Các pipeline tốt cần có chức năng giám sát, cảnh báo, logic thử lại và các bước bất biến có thể chạy hai lần mà không làm trùng lặp dữ liệu. Chúng được ghi chép đầy đủ để bất kỳ ai cũng có thể hiểu chúng hoạt động như thế nào. Chúng được kiểm tra kỹ lưỡng để các thay đổi không làm hỏng các hệ thống hạ nguồn. Pipeline là cơ sở hạ tầng. Giống như bất kỳ cơ sở hạ tầng nào khác, nó hoạt động tốt nhất khi không ai phải suy nghĩ về nó.

Các giai đoạn của đường ống

• Trích xuất — lấy dữ liệu từ các nguồn
• Biến đổi — làm sạch, làm giàu và định hình lại
• Tải — ghi vào hệ thống đích
• Điều phối — lên lịch và phối hợp các bước
• Giám sát — phát hiện và cảnh báo về các lỗi

Đường dẫn dữ liệu là một chuỗi cung ứng dữ liệu. Nếu nó bị lỗi, mọi thứ ở phía hạ lưu sẽ ngừng hoạt động.