ELT는 추출(Extract), 적재(Load), 변환(Transform)의 약자입니다. 이는 기존 ETL 방식의 순서를 뒤집은 것입니다. 데이터는 소스에서 추출되어 원시 형태로 대상 시스템에 직접 적재됩니다. 변환 작업은 대상 시스템(대개 클라우드 데이터 웨어하우스) 내부에서 해당 시스템의 컴퓨팅 성능을 활용하여 수행됩니다. 이 방식은 클라우드 데이터 웨어하우스의 규모가 커지고 처리 비용이 절감되면서 인기를 얻었습니다. 웨어하우스 자체에서 더 빠르고 저렴하게 변환 작업을 수행할 수 있는데, 굳이 별도의 서버에서 변환 작업을 할 필요가 있을까요?

ELT는 여러 장점이 있습니다. 원시 데이터가 데이터 웨어하우스에 보존되므로 소스에서 다시 추출하지 않고도 변환을 다시 실행할 수 있습니다. 새로운 변환을 소급 적용할 수도 있습니다. 대상 시스템이 복잡한 작업을 처리하므로 파이프라인 아키텍처가 간소화됩니다. dbt와 같은 도구는 버전 관리, 테스트, 문서화, 모듈식 코드와 같은 소프트웨어 엔지니어링 관행을 변환에 도입했습니다. 하지만 데이터 웨어하우스는 저장과 변환 모두를 처리할 수 있을 만큼 강력해야 한다는 단점이 있습니다. 또한 변환 전에 잠재적으로 민감한 원시 데이터가 웨어하우스에 저장되므로 접근 제어를 통해 보호해야 합니다. ELT가 ETL보다 항상 더 나은 것은 아닙니다. 일부 워크로드의 경우 로드 전에 변환하면 웨어하우스에 저장되는 데이터 양이 줄어듭니다. 다른 워크로드의 경우 ELT의 유연성이 더 유리할 수 있습니다. 선택은 대상 시스템의 기능과 팀의 선호도에 따라 달라집니다.

ELT 특성

• 원본 데이터를 로드하면 데이터는 아무런 수정 없이 데이터 웨어하우스에 저장됩니다.
• 제자리 변환 — 웨어하우스 컴퓨팅이 변환을 처리합니다
• 재처리 가능 — 변환은 원시 데이터에 대해 다시 실행할 수 있습니다.
• 더 간단한 파이프라인 — 움직이는 부품 수 감소
• 창고 규모에 따라 확장 가능한 컴퓨팅 성능이 요구됩니다.

ELT는 ETL을 완전히 뒤집어 놓은 것입니다. 데이터 웨어하우스가 작업을 수행하고, 파이프라인은 단순히 데이터를 이동시키는 역할만 합니다.