ETL là viết tắt của trích xuất, chuyển đổi, tải. Đây là mô hình chuẩn để chuyển dữ liệu vào kho dữ liệu trong nhiều thập kỷ. Trích xuất lấy dữ liệu từ các hệ thống nguồn. Chuyển đổi làm sạch, xác thực và định hình lại dữ liệu theo lược đồ đích. Tải ghi dữ liệu vào kho. Quá trình chuyển đổi diễn ra trước khi tải, trên một máy chủ xử lý riêng biệt. Kho dữ liệu nhận được dữ liệu sạch, có cấu trúc.
Các công cụ ETL đã phát triển. ETL thời kỳ đầu được viết thủ công bằng SQL và các tập lệnh. Các công cụ thương mại như Informatica và DataStage đã bổ sung giao diện đồ họa và khả năng lập lịch. Các tùy chọn mã nguồn mở như Apache NiFi và Talend đã mở rộng khả năng tiếp cận. Mô hình vẫn giữ nguyên: trích xuất, chuyển đổi, tải. ETL vẫn là lựa chọn đúng đắn khi hệ thống đích không thể xử lý khối lượng công việc chuyển đổi, khi cần giảm dung lượng dữ liệu trước khi tải hoặc khi các yêu cầu quy định đòi hỏi dữ liệu nhạy cảm phải được chuyển đổi trước khi rời khỏi môi trường được kiểm soát. Nó cũng phổ biến trong các môi trường cũ, nơi kho dữ liệu là một thiết bị truyền thống với khả năng tính toán hạn chế. Sự trỗi dậy của các kho dữ liệu đám mây và ELT đã làm giảm sự thống trị của ETL, nhưng không loại bỏ hoàn toàn nó. Nhiều tổ chức sử dụng cả hai. ETL cho các hệ thống cũ và dữ liệu nhạy cảm. ELT cho các đường ống dữ liệu đám mây. Mô hình này không lỗi thời. Nó chỉ là một trong số nhiều lựa chọn.
Đặc tính ETL
- Trước tiên hãy chuyển đổi dữ liệu — dữ liệu đã được làm sạch trước khi tải.
- Xử lý riêng biệt — chuyển đổi trên máy chủ chuyên dụng
- Giảm dung lượng lưu trữ — chỉ dữ liệu cần thiết mới được gửi đến kho dữ liệu.
- Được thành lập — với hàng thập kỷ kinh nghiệm và công cụ thực tiễn.
- Tương thích với hệ thống cũ — hoạt động tốt với các kho hàng truyền thống
ETL là mô hình kinh điển. Nó vẫn hoạt động tốt. Nó không phải lúc nào cũng là lựa chọn tốt nhất, nhưng hiếm khi sai.
Comments
No comments yet. Be the first to share a thought.
Leave a comment