Τα μεγάλα δεδομένα περιγράφουν σύνολα δεδομένων που είναι πολύ μεγάλα ή πολύπλοκα για τα παραδοσιακά εργαλεία. Ο όγκος είναι μια διάσταση. Η ταχύτητα είναι μια άλλη: δεδομένα που φτάνουν σε πραγματικό χρόνο από αισθητήρες, αρχεία καταγραφής και clickstreams. Η ποικιλία καλύπτει το μείγμα δομημένων πινάκων, αδόμητου κειμένου, εικόνων και βίντεο. Τα τρία V αποτελούν τον τυπικό ορισμό εδώ και χρόνια. Κάποια προσθέτουν την ακρίβεια, το ερώτημα του κατά πόσον τα δεδομένα είναι αξιόπιστα.

Τα εργαλεία εξελίχθηκαν για να χειριστούν την κλίμακα. Η Hadoop διένειμε την αποθήκευση και την επεξεργασία σε βασικούς διακομιστές. Η Spark πρόσθεσε υπολογισμούς στη μνήμη για ταχύτητα. Οι βάσεις δεδομένων NoSQL χειρίστηκαν μη δομημένα δεδομένα με τα οποία τα σχεσιακά συστήματα δυσκολεύονταν. Οι πλατφόρμες cloud μετέτρεψαν την υποδομή μεγάλων δεδομένων σε υπηρεσία. Η δημοσιότητα κορυφώθηκε γύρω στο 2015. Κάθε εταιρεία ήθελε μια λίμνη δεδομένων. Πολλές τις έχτισαν και δεν χρησιμοποίησαν ποτέ τα δεδομένα. Η τεχνολογία λειτουργεί. Το δύσκολο κομμάτι είναι να θέσουμε τις σωστές ερωτήσεις και να έχουμε τις δεξιότητες για να τις απαντήσουμε. Τα μεγάλα δεδομένα δεν είναι πολύτιμα επειδή είναι μεγάλα. Είναι πολύτιμα όταν αποκαλύπτουν κάτι που ένα μικρότερο σύνολο δεδομένων θα έχανε. Τις περισσότερες φορές, ένα καλά σχεδιασμένο δείγμα υπερτερεί ενός ακατάστατου πλήρους συνόλου δεδομένων.

Οι διαστάσεις των μεγάλων δεδομένων

• Όγκος — terabytes σε petabytes
• Ταχύτητα — ροές σε πραγματικό χρόνο ή σχεδόν σε πραγματικό χρόνο
• Ποικιλία — δομημένη, ημιδομημένη και μη δομημένη
• Ειλικρίνεια — ακρίβεια και αξιοπιστία
• Αξία — πληροφορίες που δικαιολογούν το κόστος

Τα μεγάλα δεδομένα είναι εργαλείο, όχι στόχος. Ο στόχος είναι οι καλύτερες αποφάσεις. Το μέγεθος από μόνο του δεν τις επιτυγχάνει.