Datamining vindt patronen in grote datasets. Het maakt gebruik van statistiek, machine learning en databasetechnieken om verbanden te ontdekken die niet direct voor de hand liggen. Een winkelier ontdekt bijvoorbeeld dat klanten die luiers kopen, ook bier kopen op vrijdagavond. Een bank ontdekt dat bepaalde transactiepatronen fraude voorspellen. Een ziekenhuis identificeert risicofactoren voor heropname. De patronen zijn reëel. Of ze nuttig zijn, hangt af van wat je ermee doet.

Datamining is niet hetzelfde als data-analyse. Analyse test hypotheses. Mining genereert ze. Je weet niet waar je naar zoekt. Het algoritme vindt correlaties en anomalieën. Vervolgens beslist een mens welke relevant zijn. Die laatste stap is cruciaal. Correlatie is geen causaliteit. Een patroon kan vals zijn. Het kan een verstorende variabele weerspiegelen. Het kan een data-artefact zijn. Mining produceert kandidaten, geen conclusies. De technieken omvatten clustering, classificatie, regressie, associatieregels en anomaliedetectie. Elk is geschikt voor verschillende problemen. De tools zijn toegankelijk geworden. Python-bibliotheken en cloudservices stellen analisten in staat complexe algoritmes uit te voeren zonder diepgaande expertise. Het risico is misbruik. Duizend modellen uitvoeren en de beste eruit kiezen is geen ontdekking. Het is overfitting. Het patroon moet ook op nieuwe data standhouden om echt te zijn.

Data mining-technieken

• Clustering — groeperen van vergelijkbare records
• Classificatie — wijs gegevens toe aan categorieën.
• Associatieregels — zoek naar items die samen voorkomen.
• Regressieanalyse — het modelleren van relaties tussen variabelen
• Anomaliedetectie — ongebruikelijke records identificeren

Datamining vindt patronen. Mensen bepalen wat die patronen betekenen. Het algoritme is een hulpmiddel, geen orakel.