Data mining finder mønstre i store datasæt. Det bruger statistik, maskinlæring og databaseteknikker til at afdække sammenhænge, ​​der ikke er åbenlyse. En detailhandler opdager, at kunder, der køber bleer, også køber øl om fredagen. En bank finder ud af, at visse transaktionsmønstre forudsiger svindel. Et hospital identificerer risikofaktorer for genindlæggelse. Mønstrene er reelle. Om de er nyttige, afhænger af, hvad man gør med dem.

Data mining er ikke det samme som dataanalyse. Analyse tester hypoteser. Mining genererer dem. Du ved ikke, hvad du leder efter. Algoritmen finder korrelationer og anomalier. Så beslutter et menneske, hvilke der er vigtige. Det sidste trin er kritisk. Korrelation er ikke årsagssammenhæng. Et mønster kan være falsk. Det kan afspejle en forvirrende variabel. Det kan være en dataartefakt. Mining producerer kandidater, ikke konklusioner. Teknikkerne omfatter klyngedannelse, klassificering, regression, associationsregler og anomalidetektion. Hver af dem passer til forskellige problemer. Værktøjerne er blevet tilgængelige. Python-biblioteker og cloud-tjenester lader analytikere køre komplekse algoritmer uden dyb ekspertise. Risikoen er misbrug. At køre tusind modeller og vælge den med det bedste resultat er ikke opdagelse. Det er overfitting. Mønsteret skal holde fast i nye data for at være reelt.

Data mining-teknikker

• Klyngedannelse — grupper lignende poster
• Klassificering — tildel poster til kategorier
• Associeringsregler — find elementer, der forekommer samtidig
• Regression — modelrelationer mellem variabler
• Anomalidetektion — identificer usædvanlige poster

Data mining finder mønstre. Mennesker bestemmer, hvad de betyder. Algoritmen er et værktøj, ikke et orakel.