Příjem dat importuje data do systému ke zpracování. Je to první krok v procesu. Data přicházejí z databází, API, souborů protokolů, front zpráv a senzorů. Vrstva příjmu je shromažďuje, validuje a předává do úložiště nebo ke zpracování. Pokud příjem selže, vše v následných fázích se zastaví.

Metoda závisí na zdroji a požadavku na latenci. Dávkový příjem stahuje data v plánovaných intervalech. Je jednoduchý a efektivní pro zdroje, které se aktualizují pomalu. Streamový příjem zpracovává data tak, jak přicházejí, což je nezbytné pro analýzu v reálném čase a systémy řízené událostmi. Nástroje se liší: Kafka pro vysoce propustné streamy, Airflow pro dávkovou orchestraci, cloudové nativní služby pro spravované kanály. Výzvy jsou konzistentní. Zdroje mění svá schémata bez varování. Data přicházejí pozdě nebo v nesprávném pořadí. Objemy nepředvídatelně narůstají. Vrstva příjmu musí zpracovat všechna data bez ztráty nebo poškození dat. Mechanismy zpětného tlaku zabraňují přetížení. Fronty nedoručených zpráv zachycují záznamy, které selžou při zpracování. Monitorování zachycuje problémy dříve, než se kaskádovitě rozšíří. Příjem je instalatérství, ale špatné potrubí zaplavuje dům.

Vzorce příjmu

• Dávka – naplánované stahování v intervalech
• Streamování – nepřetržité zpracování dat při jejich příchodu
• Zachycení změn dat – zachycuje změny v databázi v reálném čase
• Polling API – periodické požadavky na externí služby
• Webhooky — push notifikace ze zdrojových systémů

Příjem dat je vstupní branou. Pokud se zde data ztratí nebo poškodí, žádná následná oprava je nedokáže obnovit.