Zbieranie danych polega na gromadzeniu informacji ze źródeł. Ankiety, czujniki, logi internetowe, rejestry transakcji, media społecznościowe i publiczne bazy danych zasilają proces. Metoda kształtuje dane. Ankieta z pytaniami naprowadzającymi generuje stronnicze odpowiedzi. Czujnik z dryftem kalibracji generuje niedokładne odczyty. Scraper internetowy ignorujący limity prędkości zostaje zablokowany. Zbieranie danych nie jest neutralne. Każdy wybór wpływa na to, czego się dowiadujesz.

Pierwsze pytanie brzmi: czego potrzebujesz i dlaczego? Gromadzenie wszystkiego jest kuszące i zazwyczaj marnotrawne. Przechowywanie danych kosztuje. Przetwarzanie kosztuje. Czyszczenie kosztuje. Niewykorzystane dane to obciążenie, a nie atut. Drugie pytanie brzmi: jak gromadzić je etycznie i zgodnie z prawem? Zgoda ma znaczenie. Przepisy dotyczące prywatności, takie jak RODO, wymagają podstawy prawnej do gromadzenia danych osobowych. Warunki korzystania z usług ograniczają scrapowanie na wielu platformach. Trzecie pytanie dotyczy jakości. Czy źródło jest wiarygodne? Czy próbka jest reprezentatywna? Czy występują luki? Gromadzenie bez kontroli jakości generuje zestawy danych, które później przestają działać. Najlepszy moment na wykrycie problemu to czas, zanim dane trafią do potoku, a nie po tym, jak ktoś zbuduje na ich podstawie model.

Metody zbierania

• Ankiety — pytania strukturalne, podatne na stronniczość odpowiedzi
• Czujniki — automatyczne, ciągłe, wrażliwe na kalibrację
• Web scraping — ekstrakcja danych publicznych, z zastrzeżeniem ograniczeń prawnych
• Rejestry transakcji — automatyczne rejestrowanie zachowań użytkowników
• Rejestry publiczne — rząd i otwarte źródła danych

Gromadzenie danych to decyzja projektowa. To, co zbierzesz, decyduje o tym, czego możesz się dowiedzieć. To, co przegapisz, decyduje o tym, czego nigdy się nie dowiesz.