ELT je zkratka pro extrahování, načítání, transformaci. Jedná se o obrácení tradičního pořadí ETL. Data jsou extrahována ze zdrojů a načítána přímo do cílového systému v jejich nezpracované podobě. Transformace probíhají uvnitř cílového systému, obvykle v cloudovém datovém skladu, s využitím jeho výpočetního výkonu. Tento přístup se stal populárním s tím, jak se cloudové datové sklady škálovaly a jejich náklady na zpracování klesaly. Proč transformovat na samostatném serveru, když to datový sklad dokáže rychleji a levněji?
ELT má své výhody. Nezpracovaná data jsou uchovávána ve skladu, takže transformace lze znovu spustit bez opětovné extrakce ze zdrojů. Nové transformace lze aplikovat zpětně. Cílový systém zvládá těžkou práci, což zjednodušuje architekturu pipeline. Nástroje jako dbt přinesly do transformace postupy softwarového inženýrství: správu verzí, testování, dokumentaci a modulární kód. Nevýhodou je, že sklad musí být dostatečně výkonný, aby zvládl jak úložiště, tak transformaci. To také znamená, že nezpracovaná, potenciálně citlivá data jsou před transformací ve skladu. Řízení přístupu je musí chránit. ELT není univerzálně lepší než ETL. U některých úloh transformace před načtením snižuje objem dat, která se do skladu dostanou. U jiných vítězí flexibilita ELT. Volba závisí na možnostech cílového systému a preferencích týmu.
Charakteristiky ELT
- Načíst nezpracovaná data – data se dostanou do skladu beze změny
- Transformace na místě – výpočetní systém skladu zvládá transformace
- Znovuzpracovatelné – transformace lze znovu spustit na nezpracovaných datech
- Jednodušší potrubí – méně pohyblivých částí
- Závisí na skladu – vyžaduje škálovatelné výpočetní prostředky
ELT je ETL obrácený naruby. Sklad dělá práci. Pipeline pouze přesouvá data.
Comments
No comments yet. Be the first to share a thought.
Leave a comment