Dataindtagelse importerer data til et system til behandling. Det er det første trin i processen. Data ankommer fra databaser, API'er, logfiler, meddelelseskøer og sensorer. Indtagelseslaget indsamler dem, validerer dem og videregiver dem til lagring eller behandling. Hvis indtagelsen mislykkes, stopper alt downstream.

Metoden afhænger af kilden og latenstidskravet. Batchindtagelse henter data med planlagte intervaller. Det er enkelt og effektivt for kilder, der opdateres langsomt. Streamingindtagelse behandler data, når de ankommer, hvilket er nødvendigt for realtidsanalyser og hændelsesdrevne systemer. Værktøjerne varierer: Kafka til strømme med høj kapacitet, Airflow til batchorkestrering, cloud-native tjenester til administrerede pipelines. Udfordringerne er ensartede. Kilder ændrer deres skemaer uden varsel. Data ankommer sent eller i forkert rækkefølge. Mængder stiger uforudsigeligt. Indtagelseslaget skal håndtere det hele uden at miste data eller beskadige dem. Modtryksmekanismer forhindrer overbelastning. Køer med døde brev-data indfanger poster, der ikke behandles korrekt. Overvågning fanger problemer, før de kaskaderer. Indtagelse er VVS, men dårlig VVS oversvømmer huset.

Indtagelsesmønstre

• Batch — planlagte træk med intervaller
• Streaming — kontinuerlig behandling, efterhånden som data ankommer
• Ændringsdataregistrering — registrerer databaseændringer i realtid
• API-afstemning — periodiske anmodninger til eksterne tjenester
• Webhooks — push-notifikationer fra kildesystemer

Indtagelse er hoveddøren. Hvis data går tabt eller beskadiges her, kan ingen downstream-løsning gendanne dem.