Az adatfeldolgozás importálja az adatokat egy rendszerbe feldolgozás céljából. Ez az első lépés a folyamatban. Az adatok adatbázisokból, API-kból, naplófájlokból, üzenetsorokból és érzékelőkből érkeznek. A betöltési réteg összegyűjti, érvényesíti, és átadja azokat tárolásra vagy feldolgozásra. Ha a betöltés meghiúsul, minden további folyamat leáll.

A módszer a forrástól és a késleltetési követelménytől függ. A kötegelt betöltés ütemezett időközönként kéri le az adatokat. Egyszerű és hatékony a lassan frissülő források esetében. A streamelt betöltés a beérkező adatokat a beérkezésükkor dolgozza fel, ami valós idejű elemzéshez és eseményvezérelt rendszerekhez szükséges. Az eszközök változatosak: Kafka a nagy áteresztőképességű streamekhez, Airflow a kötegelt vezényléshez, felhőalapú szolgáltatások a felügyelt folyamatokhoz. A kihívások következetesek. A források figyelmeztetés nélkül megváltoztatják a sémáikat. Az adatok késve vagy sorrendben érkeznek. A mennyiségek kiszámíthatatlanul megnőnek. A betöltési rétegnek mindezt adatvesztés vagy -sérülés nélkül kell kezelnie. A visszaterhelés mechanizmusai megakadályozzák a túlterhelést. A kézbesítetlen levelek sorai rögzítik a feldolgozás során meghiúsult rekordokat. A monitorozás a problémákat még azelőtt észreveszi, hogy azok kaszkádba torkollanának. A betöltés olyan, mint a vízvezeték-szerelés, de a rossz vízvezeték elárasztja a házat.

Beviteli minták

• Kötegelt – ütemezett lehívások időközönként
• Streaming – folyamatos feldolgozás az adatok beérkezésekor
• Változásadatok rögzítése – valós időben rögzíti az adatbázis-változásokat
• API lekérdezés — időszakos kérések külső szolgáltatások felé
• Webhookok – push értesítések forrásrendszerekből

A betöltés a főkapu. Ha itt adatvesztés vagy -sérülés történik, azt semmilyen további javítás nem tudja helyreállítani.