Kỹ sư dữ liệu xây dựng và duy trì cơ sở hạ tầng để di chuyển và lưu trữ dữ liệu. Họ viết các đường dẫn dữ liệu, quản lý cơ sở dữ liệu và đảm bảo dữ liệu được chuyển đến đúng nơi cần đến, đúng thời gian và ở dạng có thể sử dụng được. Các nhà khoa học và nhà phân tích dữ liệu sử dụng những gì kỹ sư tạo ra. Nếu đường dẫn dữ liệu gặp sự cố, công việc của họ sẽ dừng lại.

Vai trò của kỹ sư dữ liệu ngày càng phát triển cùng với sự gia tăng khối lượng dữ liệu. Những kỹ sư dữ liệu thời kỳ đầu quản lý các cơ sở dữ liệu quan hệ và các kịch bản ETL. Những người hiện đại làm việc với các nền tảng đám mây, khung xử lý phân tán và hệ thống truyền dữ liệu trực tuyến. Họ viết mã bằng Python, Scala hoặc Java. Họ hiểu sâu sắc về SQL. Họ biết cách thiết kế lược đồ, phân vùng bảng và tối ưu hóa truy vấn. Họ cũng xử lý các hoạt động: giám sát, cảnh báo và phục hồi khi có sự cố xảy ra lúc 3 giờ sáng. Công việc này vừa là kỹ thuật phần mềm, vừa là quản trị cơ sở dữ liệu, vừa là công việc bảo trì hệ thống. Nó không hào nhoáng. Nhưng nó rất cần thiết. Một nhà khoa học dữ liệu dành một nửa thời gian để sửa chữa các đường ống dữ liệu bị lỗi thì không phải đang làm khoa học dữ liệu. Một kỹ sư dữ liệu giỏi sẽ giải quyết vấn đề đó. Các đường ống dữ liệu hoạt động trơn tru. Dữ liệu sạch. Các nhà phân tích và nhà khoa học có thể tập trung vào công việc thực sự của họ.

Trách nhiệm của kỹ sư dữ liệu

• Xây dựng các quy trình — trích xuất, chuyển đổi, tải dữ liệu
• Quản lý lưu trữ — cơ sở dữ liệu, kho dữ liệu, kho lưu trữ
• Đảm bảo độ tin cậy — giám sát, cảnh báo, phục hồi
• Tối ưu hóa hiệu năng — tinh chỉnh truy vấn, phân vùng
• Hỗ trợ người dùng — các nhà phân tích, nhà khoa học, ứng dụng

Các kỹ sư dữ liệu xây dựng đường sá. Những người khác thì lái xe trên đó. Khi đường sá tốt, chẳng ai để ý cả.