Pobieranie danych polega na importowaniu danych do systemu w celu przetworzenia. To pierwszy krok w procesie przetwarzania. Dane docierają z baz danych, interfejsów API, plików dziennika, kolejek komunikatów i czujników. Warstwa pobierania gromadzi je, weryfikuje i przekazuje do magazynu lub do przetwarzania. Jeśli pobieranie się nie powiedzie, wszystkie dalsze procesy zostają zatrzymane.

Metoda zależy od źródła i wymaganego opóźnienia. Pobieranie wsadowe pobiera dane w zaplanowanych odstępach czasu. Jest proste i wydajne w przypadku źródeł, które aktualizują się powoli. Pobieranie strumieniowe przetwarza dane w miarę ich napływania, co jest niezbędne w przypadku analiz w czasie rzeczywistym i systemów sterowanych zdarzeniami. Narzędzia są różne: Kafka do strumieni o wysokiej przepustowości, Airflow do orkiestracji wsadowej, usługi natywne dla chmury dla zarządzanych potoków. Wyzwania są spójne. Źródła zmieniają swoje schematy bez ostrzeżenia. Dane docierają z opóźnieniem lub w nieuporządkowanej kolejności. Objętość danych gwałtownie rośnie w sposób nieprzewidywalny. Warstwa pobierania musi obsłużyć wszystkie te problemy bez utraty danych lub ich uszkodzenia. Mechanizmy backpressure zapobiegają przeciążeniom. Kolejki martwych wiadomości przechwytują rekordy, których przetwarzanie nie powiodło się. Monitorowanie wykrywa problemy, zanim się pojawią. Pobieranie to uciążliwość, ale zła uciążliwość może doprowadzić do zalania domu.

Wzory pobierania pokarmu

• Partia — zaplanowane pobrania w określonych odstępach czasu
• Przesyłanie strumieniowe — ciągłe przetwarzanie w miarę napływania danych
• Przechwytywanie zmian danych — przechwytuje zmiany w bazie danych w czasie rzeczywistym
• Sondowanie API — okresowe żądania do usług zewnętrznych
• Webhooki — powiadomienia push z systemów źródłowych

Wchłanianie to drzwi wejściowe. Jeśli dane zostaną utracone lub uszkodzone w tym miejscu, żadne dalsze działania naprawcze nie będą w stanie ich odzyskać.