Stordata beskriver datasett som er for store eller komplekse for tradisjonelle verktøy. Volumet er én dimensjon. Hastighet er en annen: data som ankommer i sanntid fra sensorer, logger og klikkstrømmer. Variasjon dekker blandingen av strukturerte tabeller, ustrukturert tekst, bilder og video. De tre V-ene har vært standarddefinisjonen i årevis. Noen legger til sannferdighet, spørsmålet om dataene er troverdige.

Verktøyene utviklet seg for å håndtere skalaen. Hadoop distribuerte lagring og prosessering på tvers av standardservere. Spark la til minnebasert beregning for å øke hastigheten. NoSQL-databaser håndterte ustrukturerte data som relasjonelle systemer slet med. Skyplattformer gjorde stordatainfrastruktur om til en tjeneste. Hypen nådde toppen rundt 2015. Alle selskaper ønsket seg en datasjø. Mange bygde dem og brukte aldri dataene. Teknologien fungerer. Den vanskelige delen er å stille de riktige spørsmålene og ha ferdighetene til å svare på dem. Stordata er ikke verdifulle fordi de er store. De er verdifulle når de avslører noe et mindre datasett ville gått glipp av. Som oftest slår et godt designet utvalg et rotete og fullstendig datasett.

Dimensjonene til stordata

• Volum – terabyte til petabyte
• Hastighet – strømmer i sanntid eller nesten sanntid
• Variasjon – strukturert, semistrukturert og ustrukturert
• Sannferdighet – nøyaktighet og pålitelighet
• Verdi – innsikt som rettferdiggjør kostnaden

Stordata er et verktøy, ikke et mål. Målet er bedre beslutninger. Størrelse alene leverer dem ikke.