Datainntak importerer data til et system for behandling. Det er det første trinnet i prosessen. Data kommer fra databaser, API-er, loggfiler, meldingskøer og sensorer. Inntakslaget samler dem inn, validerer dem og sender dem videre til lagring eller behandling. Hvis inntak mislykkes, stopper alt nedstrøms.

Metoden avhenger av kilden og latenskravet. Batch-inntak henter data med planlagte intervaller. Det er enkelt og effektivt for kilder som oppdateres sakte. Strømming av inntak behandler data etter hvert som de ankommer, noe som er nødvendig for sanntidsanalyse og hendelsesdrevne systemer. Verktøyene varierer: Kafka for strømmer med høy gjennomstrømning, Airflow for batch-orkestrering, skybaserte tjenester for administrerte pipelines. Utfordringene er konsistente. Kilder endrer skjemaene sine uten forvarsel. Data ankommer sent eller i feil rekkefølge. Volumene øker uforutsigbart. Inntakslaget må håndtere alt uten å miste data eller ødelegge det. Mottrykksmekanismer forhindrer overbelastning. Dødbrevkøer fanger opp poster som mislykkes i behandlingen. Overvåking fanger opp problemer før de kaskaderer. Inntak er rørleggerarbeid, men dårlig rørleggerarbeid oversvømmer huset.

Inntaksmønstre

• Batch – planlagte trekk med intervaller
• Strømming – kontinuerlig behandling etter hvert som data ankommer
• Endringsdatafangst – registrerer endringer i databasen i sanntid
• API-avstemning – periodiske forespørsler til eksterne tjenester
• Webhooks – push-varsler fra kildesystemer

Inntak er inngangsdøren. Hvis data går tapt eller blir ødelagt her, kan ingen nedstrøms løsning gjenopprette dem.