Az adatbányászat mintákat talál nagy adathalmazokban. Statisztikákat, gépi tanulást és adatbázis-technikákat használ a nem nyilvánvaló kapcsolatok feltárására. Egy kiskereskedő felfedezi, hogy a pelenkát vásárló vásárlók péntek esténként sört is vásárolnak. Egy bank rájön, hogy bizonyos tranzakciós minták csalást jeleznek előre. Egy kórház azonosítja az újbóli felvétel kockázati tényezőit. A minták valósak. Az, hogy hasznosak-e, attól függ, mit kezdünk velük.

Az adatbányászat nem ugyanaz, mint az adatelemzés. Az analitika hipotéziseket tesztel. Az adatbányászat generálja őket. Nem tudjuk, mit keresünk. Az algoritmus korrelációkat és anomáliákat talál. Ezután egy ember eldönti, hogy melyek számítanak. Ez az utolsó lépés kritikus fontosságú. A korreláció nem oksági összefüggés. Egy minta lehet hamis. Tükrözhet egy zavaró változót. Lehet egy adattermék. Az adatbányászat jelölteket hoz létre, nem következtetéseket. A technikák közé tartozik a klaszterezés, az osztályozás, a regresszió, az asszociációs szabályok és az anomáliadetektálás. Mindegyik más-más problémákra alkalmazható. Az eszközök elérhetővé váltak. A Python könyvtárak és a felhőszolgáltatások lehetővé teszik az elemzők számára, hogy mélyreható szakértelem nélkül futtassanak összetett algoritmusokat. A kockázat a helytelen használat. Ezer modell futtatása és a legjobb eredményt adó kiválasztása nem felfedezés. Ez túlillesztettség. A mintának új adatokon kell alapulnia ahhoz, hogy valóságos legyen.

Adatbányászati ​​technikák

• Csoportosítás – hasonló rekordok csoportosítása
• Osztályozás – rekordok kategóriákba rendelése
• Asszociációs szabályok – együtt előforduló elemek keresése
• Regresszió – változók közötti kapcsolatok modellezése
• Anomáliadetektálás – szokatlan rekordok azonosítása

Az adatbányászat mintákat talál. Az emberek döntik el, hogy mit jelentenek ezek. Az algoritmus egy eszköz, nem egy orákulum.