Big data beskriver datamängder som är för stora eller komplexa för traditionella verktyg. Volymen är en dimension. Hastighet är en annan: data som anländer i realtid från sensorer, loggar och klickströmmar. Variation omfattar blandningen av strukturerade tabeller, ostrukturerad text, bilder och video. De tre V:na har varit standarddefinitionen i åratal. Vissa lägger till sanningsenlighet, frågan om huruvida informationen är tillförlitlig.

Verktygen utvecklades för att hantera skalan. Hadoop distribuerade lagring och bearbetning över vanliga servrar. Spark lade till minnesberäkning för snabbhet. NoSQL-databaser hanterade ostrukturerad data som relationella system hade svårt med. Molnplattformar förvandlade stordatainfrastruktur till en tjänst. Hypen nådde sin kulmen runt 2015. Alla företag ville ha en datasjö. Många byggde dem och använde aldrig datan. Tekniken fungerar. Det svåra är att ställa rätt frågor och ha kompetensen att besvara dem. Stordata är inte värdefulla för att de är stora. De är värdefulla när de avslöjar något som en mindre datamängd skulle missa. För det mesta slår ett väl utformat exempel en rörig och fullständig datamängd.

Stordatas dimensioner

• Volym — terabyte till petabyte
• Hastighet — strömmar i realtid eller nära realtid
• Variation — strukturerad, semistrukturerad och ostrukturerad
• Sanningsenlighet – noggrannhet och pålitlighet
• Värde — insikter som motiverar kostnaden

Big data är ett verktyg, inte ett mål. Målet är bättre beslut. Storlek ensam levererar dem inte.