Az ETL a kibontás, átalakítás, betöltés rövidítése. Ez évtizedek óta a szabványos minta az adatok adattárházakba mozgatására. Az kinyerés lekéri az adatokat a forrásrendszerekből. Az átalakítás megtisztítja, érvényesíti és átalakítja azokat a célsémának megfelelően. A betöltés beírja az adatokat az adattárházba. Az átalakítás a betöltés előtt történik egy külön feldolgozó szerveren. Az adattárház tiszta, strukturált adatokat kap.
Az ETL eszközök fejlődtek. A korai ETL-t kézzel kódolták SQL-ben és szkriptekben. A kereskedelmi eszközök, mint az Informatica és a DataStage, grafikus felületeket és ütemezést adtak hozzá. A nyílt forráskódú opciók, mint az Apache NiFi és a Talend, szélesítették a hozzáférést. A minta ugyanaz maradt: kinyerés, átalakítás, betöltés. Az ETL továbbra is a megfelelő választás, ha a célrendszer nem tudja kezelni az átalakítási munkaterheléseket, ha az adatmennyiségeket csökkenteni kell a betöltés előtt, vagy ha a szabályozási követelmények megkövetelik, hogy az érzékeny adatokat átalakítsák, mielőtt elhagynák a szabályozott környezetet. Gyakori a régi környezetekben is, ahol a raktár egy hagyományos, korlátozott számítási kapacitású eszköz. A felhőalapú raktárak és az ELT térnyerése csökkentette az ETL dominanciáját, de nem szüntette meg. Sok szervezet mindkettőt futtatja. ETL a régi rendszerekhez és az érzékeny adatokhoz. ELT a felhőalapú adatfolyamokhoz. A minta nem elavult. Ez egy lehetőség a sok közül.
ETL jellemzők
- Először átalakítás – az adatok tisztítása betöltés előtt
- Külön feldolgozás – átalakítás dedikált szerveren
- Csökkentett mennyiség – csak a szükséges adatok jutnak el a raktárba
- Bevált – évtizedeknyi eszköz és gyakorlat
- Régi rendszerekre is alkalmas – hagyományos raktárakkal is működik
Az ETL a klasszikus minta. Még mindig működik. Nem mindig a legjobb választás, de ritkán hibás.
Comments
No comments yet. Be the first to share a thought.
Leave a comment