يقوم مهندس البيانات ببناء وصيانة البنية التحتية التي تنقل البيانات وتخزنها. يكتب مسارات البيانات، ويدير قواعد البيانات، ويضمن وصول البيانات إلى وجهتها في الوقت المحدد وبحالة قابلة للاستخدام. ويستهلك علماء البيانات والمحللون ما ينتجه المهندسون. وإذا تعطل مسار البيانات، يتوقف عملهم.

تزايد دور مهندسي البيانات مع ازدياد حجم البيانات. في البداية، كان مهندسو البيانات يديرون قواعد البيانات العلائقية ونصوص ETL. أما اليوم، فيعملون مع منصات الحوسبة السحابية، وأطر المعالجة الموزعة، وأنظمة معالجة البيانات المتدفقة. يكتبون التعليمات البرمجية بلغات مثل بايثون، وسكالا، وجافا. يتقنون لغة SQL. يعرفون كيفية تصميم المخططات، وتقسيم الجداول، وتحسين الاستعلامات. كما يتولون عمليات التشغيل: المراقبة، والتنبيه، والتعافي عند حدوث أي عطل في أي وقت. يجمع هذا العمل بين هندسة البرمجيات، وإدارة قواعد البيانات، والبنية التحتية. قد لا يبدو جذابًا للوهلة الأولى، ولكنه ضروري. عالم البيانات الذي يقضي نصف وقته في إصلاح خطوط البيانات المعطلة لا يمارس علم البيانات. أما مهندس البيانات المتميز، فيحل هذه المشكلة تمامًا. تعمل خطوط البيانات بسلاسة، وتكون البيانات نقية، ويتفرغ المحللون والعلماء للتركيز على عملهم الأساسي.

مسؤوليات مهندس البيانات

• بناء خطوط الأنابيب - استخراج البيانات وتحويلها وتحميلها
• إدارة التخزين - قواعد البيانات، بحيرات البيانات، مستودعات البيانات
• ضمان الموثوقية - المراقبة، والتنبيه، والاستعادة
• تحسين الأداء - ضبط الاستعلامات، والتقسيم
• دعم المستهلكين - المحللين والعلماء والتطبيقات

مهندسو البيانات هم من يبنون الطرق. والجميع يقودون عليها. وعندما تكون الطرق جيدة، لا أحد يلاحظ ذلك.