„Big data” descrie seturi de date prea mari sau complexe pentru instrumentele tradiționale. Volumul este o dimensiune. Viteza este o alta: date care sosesc în timp real de la senzori, jurnale și fluxuri de clicuri. Varietatea acoperă combinația de tabele structurate, text nestructurat, imagini și videoclipuri. Cei trei „V” au fost definiția standard timp de ani de zile. Unii adaugă veridicitatea, întrebarea dacă datele sunt demne de încredere.

Instrumentele au evoluat pentru a gestiona scalabilitatea. Hadoop a distribuit stocarea și procesarea pe servere standard. Spark a adăugat calcul în memorie pentru viteză. Bazele de date NoSQL au gestionat date nestructurate cu care sistemele relaționale se confruntau cu dificultăți. Platformele cloud au transformat infrastructura de date mari într-un serviciu. Vârful atins a fost în jurul anului 2015. Fiecare companie își dorea un lac de date. Multe le-au construit și nu au folosit niciodată datele. Tehnologia funcționează. Partea dificilă este să pui întrebările corecte și să ai abilitățile de a răspunde la ele. Datele mari nu sunt valoroase pentru că sunt mari. Sunt valoroase atunci când dezvăluie ceva ce un set de date mai mic ar rata. De cele mai multe ori, un eșantion bine conceput este mai bun decât un set de date complet și dezordonat.

Dimensiunile big data

• Volum — terabytes la petabytes
• Viteză — fluxuri în timp real sau aproape în timp real
• Varietate — structurată, semi-structurată și nestructurată
• Veracitate — acuratețe și credibilitate
• Valoare — informații care justifică costul

Big data este un instrument, nu un scop. Scopul este să luăm decizii mai bune. Mărimea în sine nu le oferă.