데이터 엔지니어는 데이터를 이동하고 저장하는 인프라를 구축하고 유지 관리합니다. 데이터 파이프라인을 설계하고, 데이터베이스를 관리하며, 데이터가 필요한 곳에 제시간에 사용 가능한 형태로 전달되도록 보장합니다. 데이터 과학자와 분석가는 엔지니어가 생산한 데이터를 활용합니다. 데이터 파이프라인에 문제가 발생하면 그들의 작업도 중단됩니다.

데이터 양이 증가함에 따라 데이터 엔지니어의 역할도 커졌습니다. 초기 데이터 엔지니어는 관계형 데이터베이스와 ETL 스크립트를 관리했지만, 현대의 데이터 엔지니어는 클라우드 플랫폼, 분산 처리 프레임워크, 스트리밍 시스템을 다룹니다. 파이썬, 스칼라, 자바로 코드를 작성하고 SQL을 깊이 이해하며 스키마 설계, 테이블 분할, 쿼리 최적화 방법을 알고 있습니다. 또한 운영, 즉 모니터링, 알림, 그리고 새벽 3시에 발생하는 오류 복구까지 담당합니다. 데이터 엔지니어는 소프트웨어 엔지니어링, 데이터베이스 관리, 그리고 시스템 구축의 모든 요소를 ​​아우르는 직업입니다. 화려한 직업은 아니지만 필수적인 존재입니다. 데이터 과학자가 시간의 절반을 고장 난 파이프라인을 고치는 데 쓴다면 제대로 된 데이터 과학을 하고 있는 것이 아닙니다. 훌륭한 데이터 엔지니어는 이러한 문제를 해결하고 파이프라인을 원활하게 운영하며, 데이터를 깨끗하게 만듭니다. 그러면 분석가와 과학자들은 본연의 업무에 집중할 수 있게 됩니다.

데이터 엔지니어의 책임

• 데이터 추출, 변환, 로드 파이프라인 구축
• 데이터베이스, 데이터 레이크, 데이터 웨어하우스 등 스토리지를 관리하세요.
• 신뢰성 확보 - 모니터링, 경고, 복구
• 성능 최적화 - 쿼리 튜닝, 파티셔닝
• 소비자 지원 - 분석가, 과학자, 애플리케이션 개발자

데이터 엔지니어는 도로를 건설합니다. 다른 사람들은 그 도로를 이용하죠. 도로가 잘 되어 있으면 아무도 신경 쓰지 않습니다.