Big data beskriver datasæt, der er for store eller komplekse til traditionelle værktøjer. Mængden er én dimension. Hastighed er en anden: data, der ankommer i realtid fra sensorer, logs og klikstrømme. Variation dækker blandingen af ​​strukturerede tabeller, ustruktureret tekst, billeder og video. De tre V'er har været standarddefinitionen i årevis. Nogle tilføjer sandfærdighed, spørgsmålet om, hvorvidt dataene er troværdige.

Værktøjerne udviklede sig til at håndtere skalaen. Hadoop distribuerede lagring og behandling på tværs af standardservere. Spark tilføjede in-memory-beregning for at øge hastigheden. NoSQL-databaser håndterede ustrukturerede data, som relationelle systemer kæmpede med. Cloud-platforme forvandlede big data-infrastruktur til en tjeneste. Hypen toppede omkring 2015. Alle virksomheder ønskede en datasø. Mange byggede dem og brugte aldrig dataene. Teknologien virker. Det svære er at stille de rigtige spørgsmål og have færdighederne til at besvare dem. Big data er ikke værdifuldt, fordi det er stort. Det er værdifuldt, når det afslører noget, som et mindre datasæt ville overse. For det meste slår en veldesignet stikprøve et rodet, fuldt datasæt.

Dimensionerne af big data

• Volumen — terabyte til petabyte
• Hastighed — strømme i realtid eller næsten realtid
• Variation — struktureret, semistruktureret og ustruktureret
• Sandfærdighed – nøjagtighed og troværdighed
• Værdi — indsigter, der retfærdiggør omkostningerne

Big data er et værktøj, ikke et mål. Målet er bedre beslutninger. Størrelse alene leverer dem ikke.