डेटा इनपुट प्रक्रिया डेटा को प्रोसेसिंग के लिए सिस्टम में इंपोर्ट करती है। यह पाइपलाइन का पहला चरण है। डेटा डेटाबेस, एपीआई, लॉग फ़ाइलें, मैसेज क्यू और सेंसर से आता है। इनपुट लेयर इसे एकत्र करती है, इसकी पुष्टि करती है और इसे स्टोरेज या प्रोसेसिंग के लिए भेज देती है। यदि इनपुट प्रक्रिया विफल हो जाती है, तो आगे की सारी प्रक्रिया रुक जाती है।

यह विधि स्रोत और विलंबता की आवश्यकता पर निर्भर करती है। बैच इनपुट निर्धारित अंतराल पर डेटा खींचता है। यह उन स्रोतों के लिए सरल और कुशल है जो धीरे-धीरे अपडेट होते हैं। स्ट्रीमिंग इनपुट डेटा के आते ही उसे संसाधित करता है, जो रीयल-टाइम एनालिटिक्स और इवेंट-ड्रिवन सिस्टम के लिए आवश्यक है। उपकरण अलग-अलग होते हैं: उच्च-थ्रूपुट स्ट्रीम के लिए काफ्का, बैच ऑर्केस्ट्रेशन के लिए एयरफ्लो, और प्रबंधित पाइपलाइन के लिए क्लाउड-नेटिव सेवाएं। चुनौतियां एक जैसी ही रहती हैं। स्रोत बिना किसी चेतावनी के अपने स्कीमा बदल देते हैं। डेटा देर से या अव्यवस्थित क्रम में आता है। वॉल्यूम अप्रत्याशित रूप से बढ़ जाते हैं। इनपुट परत को डेटा खोए या दूषित किए बिना इन सभी को संभालना होता है। बैकप्रेशर तंत्र ओवरलोड को रोकते हैं। डेड-लेटर कतारें उन रिकॉर्ड को कैप्चर करती हैं जो प्रोसेसिंग में विफल हो जाते हैं। मॉनिटरिंग समस्याओं को बढ़ने से पहले ही पकड़ लेती है। इनपुट एक तरह से पाइपलाइन की तरह है, लेकिन खराब पाइपलाइन पूरे घर में बाढ़ ला सकती है।

अंतर्ग्रहण पैटर्न

• बैच — निर्धारित अंतरालों पर निर्धारित मात्रा में सामग्री निकालना
• स्ट्रीमिंग — डेटा आते ही निरंतर प्रोसेसिंग
• परिवर्तन डेटा कैप्चर — डेटाबेस में होने वाले परिवर्तनों को वास्तविक समय में कैप्चर करता है
• एपीआई पोलिंग — बाहरी सेवाओं को आवधिक अनुरोध
• वेबहुक्स — स्रोत प्रणालियों से पुश सूचनाएं

डेटा का इनपुट ही मुख्य द्वार है। यदि डेटा यहाँ खो जाता है या दूषित हो जाता है, तो आगे चलकर कोई भी सुधार उसे पुनर्प्राप्त नहीं कर सकता।