Datautvinning hittar mönster i stora datamängder. Den använder statistik, maskininlärning och databastekniker för att avslöja samband som inte är uppenbara. En återförsäljare upptäcker att kunder som köper blöjor också köper öl på fredagskvällar. En bank upptäcker att vissa transaktionsmönster förutsäger bedrägerier. Ett sjukhus identifierar riskfaktorer för återinläggning. Mönstren är verkliga. Huruvida de är användbara beror på vad man gör med dem.

Datautvinning är inte samma sak som dataanalys. Analys testar hypoteser. Utvinning genererar dem. Du vet inte vad du letar efter. Algoritmen hittar korrelationer och avvikelser. Sedan avgör en människa vilka som är viktiga. Det sista steget är avgörande. Korrelation är inte kausalitet. Ett mönster kan vara falskt. Det kan återspegla en störande variabel. Det kan vara en dataartefakt. Utvinning producerar kandidater, inte slutsatser. Teknikerna inkluderar klustring, klassificering, regression, associationsregler och avvikelsedetektering. Var och en passar olika problem. Verktygen har blivit tillgängliga. Python-bibliotek och molntjänster låter analytiker köra komplexa algoritmer utan djupgående expertis. Risken är missbruk. Att köra tusen modeller och välja den med bäst resultat är inte upptäckt. Det är överanpassning. Mönstret måste hålla fast vid ny data för att vara verkligt.

Data mining-tekniker

• Klusterbildning — gruppera liknande poster
• Klassificering — tilldela poster till kategorier
• Associationsregler — hitta objekt som förekommer samtidigt
• Regression — modellrelationer mellan variabler
• Avvikelsedetektering — identifiera ovanliga poster

Datautvinning hittar mönster. Människor bestämmer vad de betyder. Algoritmen är ett verktyg, inte ett orakel.