Datainmatning importerar data till ett system för bearbetning. Det är det första steget i processen. Data kommer från databaser, API:er, loggfiler, meddelandeköer och sensorer. Inmatningsskiktet samlar in dem, validerar dem och skickar dem vidare till lagring eller bearbetning. Om inmatningen misslyckas stoppas allt nedströms.

Metoden beror på källan och latenskravet. Batch-inmatning hämtar data med schemalagda intervall. Det är enkelt och effektivt för källor som uppdateras långsamt. Strömmande inmatning bearbetar data allt eftersom de anländer, vilket är nödvändigt för realtidsanalys och händelsedrivna system. Verktygen varierar: Kafka för strömmar med högt genomflöde, Airflow för batch-orkestrering, molnbaserade tjänster för hanterade pipelines. Utmaningarna är konsekventa. Källor ändrar sina scheman utan förvarning. Data anländer sent eller i fel ordning. Volymerna ökar oförutsägbart. Inmatningsskiktet måste hantera allt utan att förlora data eller korrumpera den. Mottrycksmekanismer förhindrar överbelastning. Köer med obegränsad brev fångar poster som misslyckas med bearbetning. Övervakning fångar problem innan de kaskadförökar. Inmatning är VVS, men dålig VVS översvämmar huset.

Inmatningsmönster

• Batch — schemalagda dragningar med intervaller
• Strömmande — kontinuerlig bearbetning allt eftersom data anländer
• Ändringsdatainsamling — registrerar databasändringar i realtid
• API-avsökning — periodiska förfrågningar till externa tjänster
• Webhooks — push-meddelanden från källsystem

Inmatning är ytterdörren. Om data går förlorade eller skadas här kan ingen nedströms lösning återställa den.