يشير اختصار ETL إلى الاستخراج والتحويل والتحميل. وهو النمط القياسي لنقل البيانات إلى مستودعات البيانات منذ عقود. يستخرج الاستخراج البيانات من الأنظمة المصدرية. يقوم التحويل بتنظيفها والتحقق من صحتها وإعادة تشكيلها وفقًا للمخطط المستهدف. يقوم التحميل بكتابة البيانات في مستودع البيانات. تتم عملية التحويل قبل التحميل، على خادم معالجة منفصل. يستقبل مستودع البيانات بيانات نظيفة ومنظمة.

تطورت أدوات ETL. في بداياتها، كانت تُكتب أوامر ETL يدويًا باستخدام لغة SQL والنصوص البرمجية. ثم أضافت الأدوات التجارية مثل Informatica وDataStage واجهات رسومية وجدولة. ووسعت الخيارات مفتوحة المصدر مثل Apache NiFi وTalend نطاق الوصول. يبقى النمط كما هو: الاستخراج، التحويل، التحميل. لا تزال ETL الخيار الأمثل عندما يعجز النظام المستهدف عن التعامل مع أحمال عمل التحويل، أو عندما تتطلب أحجام البيانات تقليلًا قبل التحميل، أو عندما تقتضي المتطلبات التنظيمية تحويل البيانات الحساسة قبل مغادرتها بيئة مُراقبة. كما أنها شائعة في البيئات القديمة حيث يكون مستودع البيانات عبارة عن جهاز تقليدي ذي قدرة حاسوبية محدودة. قلل ظهور مستودعات البيانات السحابية وELT من هيمنة ETL، لكنه لم يقضِ عليها تمامًا. تستخدم العديد من المؤسسات كلا الأسلوبين: ETL للأنظمة القديمة والبيانات الحساسة، وELT لخطوط نقل البيانات السحابية. لم يصبح هذا النمط عتيقًا، بل هو أحد الخيارات المتاحة.

خصائص ETL

• قم بتحويل البيانات أولاً — يتم تنظيف البيانات قبل التحميل
• معالجة منفصلة - تحويل على خادم مخصص
• حجم أقل - تصل البيانات المطلوبة فقط إلى المستودع
• راسخة - عقود من الأدوات والممارسات
• متوافق مع الأنظمة القديمة — يعمل مع المستودعات التقليدية

يُعدّ نموذج ETL نموذجًا كلاسيكيًا. ولا يزال فعالًا. ليس دائمًا الخيار الأمثل، ولكنه نادرًا ما يكون خاطئًا.