Η συλλογή δεδομένων συλλέγει πληροφορίες από πηγές. Έρευνες, αισθητήρες, αρχεία καταγραφής ιστού, αρχεία συναλλαγών, μέσα κοινωνικής δικτύωσης και δημόσιες βάσεις δεδομένων τροφοδοτούν τη διαδικασία. Η μέθοδος διαμορφώνει τα δεδομένα. Μια έρευνα με προκλητικές ερωτήσεις παράγει μεροληπτικές απαντήσεις. Ένας αισθητήρας με απόκλιση βαθμονόμησης παράγει ανακριβείς μετρήσεις. Ένας scraper ιστού που αγνοεί τα όρια ρυθμού μπλοκάρεται. Η συλλογή δεν είναι ουδέτερη. Κάθε επιλογή επηρεάζει αυτά που μαθαίνετε.

Το πρώτο ερώτημα είναι τι χρειάζεστε και γιατί. Η συλλογή των πάντων είναι δελεαστική και συνήθως σπάταλη. Η αποθήκευση δεδομένων κοστίζει χρήματα. Η επεξεργασία κοστίζει χρήματα. Ο καθαρισμός κοστίζει χρήματα. Τα δεδομένα που παραμένουν αχρησιμοποίητα αποτελούν υποχρέωση, όχι περιουσιακό στοιχείο. Το δεύτερο ερώτημα είναι πώς να τα συλλέξετε ηθικά και νόμιμα. Η συναίνεση έχει σημασία. Οι νόμοι περί απορρήτου, όπως ο GDPR, απαιτούν νόμιμη βάση για τη συλλογή προσωπικών δεδομένων. Οι όροι παροχής υπηρεσιών περιορίζουν την συλλογή δεδομένων σε πολλές πλατφόρμες. Το τρίτο ερώτημα είναι η ποιότητα. Είναι αξιόπιστη η πηγή; Είναι το δείγμα αντιπροσωπευτικό; Υπάρχουν κενά; Η συλλογή χωρίς ποιοτικούς ελέγχους παράγει σύνολα δεδομένων που αποτυγχάνουν αργότερα. Η καλύτερη στιγμή για να εντοπίσετε ένα πρόβλημα είναι πριν τα δεδομένα εισέλθουν στον αγωγό, όχι αφού κάποιος δημιουργήσει ένα μοντέλο πάνω σε αυτά.

Μέθοδοι συλλογής

• Έρευνες — δομημένες ερωτήσεις, επιρρεπείς σε μεροληψία απαντήσεων
• Αισθητήρες — αυτοματοποιημένοι, συνεχείς, ευαίσθητοι στη βαθμονόμηση
• Απομάκρυνση ιστού — εξάγει δημόσια δεδομένα, υπό την επιφύλαξη νομικών περιορισμών
• Αρχεία καταγραφής συναλλαγών — καταγράφει αυτόματα τη συμπεριφορά των χρηστών
• Δημόσια αρχεία — κυβερνητικές και ανοιχτές πηγές δεδομένων

Η συλλογή δεδομένων είναι μια απόφαση σχεδιασμού. Αυτό που συλλέγετε καθορίζει τι μπορείτε να μάθετε. Αυτό που χάνετε καθορίζει τι δεν θα μάθετε ποτέ.