ETL significa extrair, transformar e carregar. Há décadas que este é o padrão para mover dados para data warehouses. A etapa de extração (extract) recolhe os dados dos sistemas de origem. A etapa de transformação (transform) limpa, valida e remodela os dados para o esquema de destino. A etapa de carregamento (load) grava os dados no data warehouse. A transformação ocorre antes do carregamento, num servidor de processamento separado. O data warehouse recebe dados limpos e estruturados.

As ferramentas de ETL evoluíram. O ETL inicial era codificado manualmente em SQL e scripts. Ferramentas comerciais como o Informatica e o DataStage adicionaram interfaces gráficas e agendamento. Opções de código aberto como o Apache NiFi e o Talend alargaram o acesso. O padrão continua a ser o mesmo: extrair, transformar e carregar. O ETL é ainda a escolha certa quando o sistema de destino não consegue lidar com cargas de trabalho de transformação, quando os volumes de dados têm de ser reduzidos antes do carregamento ou quando os requisitos regulamentares exigem que os dados sensíveis sejam transformados antes de saírem de um ambiente controlado. É também comum em ambientes legados onde o data warehouse é um appliance tradicional com capacidade computacional limitada. A ascensão dos data warehouses na nuvem e do ELT reduziu a dominância do ETL, mas não o eliminou. Muitas organizações utilizam ambos. ETL para sistemas legados e dados sensíveis. ELT para pipelines nativos da cloud. O padrão não está obsoleto. É apenas uma opção entre várias.

Características ETL

• Transformar primeiro — dados limpos antes do carregamento
• Processamento separado — transformação num servidor dedicado
• Volume reduzido — apenas os dados necessários chegam ao armazém.
• Consolidada — décadas de ferramentas e práticas
• Compatível com sistemas legados — funciona com armazéns tradicionais.

O ETL é o padrão clássico. Ainda funciona. Nem sempre é a melhor escolha, mas raramente está errado.