Penambangan data menemukan pola dalam kumpulan data besar. Ia menggunakan statistik, pembelajaran mesin, dan teknik basis data untuk mengungkap hubungan yang tidak terlihat jelas. Seorang pengecer menemukan bahwa pelanggan yang membeli popok juga membeli bir pada Jumat malam. Sebuah bank menemukan bahwa pola transaksi tertentu memprediksi penipuan. Sebuah rumah sakit mengidentifikasi faktor risiko untuk penerimaan kembali pasien. Pola-pola tersebut nyata. Apakah pola-pola tersebut bermanfaat atau tidak bergantung pada apa yang Anda lakukan dengannya.

Penambangan data tidak sama dengan analitik data. Analitik menguji hipotesis. Penambangan menghasilkan hipotesis. Anda tidak tahu apa yang Anda cari. Algoritma menemukan korelasi dan anomali. Kemudian manusia memutuskan mana yang penting. Langkah terakhir itu sangat penting. Korelasi bukanlah sebab-akibat. Suatu pola mungkin palsu. Mungkin mencerminkan variabel pengganggu. Mungkin merupakan artefak data. Penambangan menghasilkan kandidat, bukan kesimpulan. Teknik-tekniknya meliputi pengelompokan, klasifikasi, regresi, aturan asosiasi, dan deteksi anomali. Masing-masing cocok untuk masalah yang berbeda. Alat-alat tersebut telah menjadi mudah diakses. Pustaka Python dan layanan cloud memungkinkan analis menjalankan algoritma kompleks tanpa keahlian mendalam. Risikonya adalah penyalahgunaan. Menjalankan seribu model dan memilih model dengan hasil terbaik bukanlah penemuan. Itu adalah overfitting. Pola tersebut harus berlaku pada data baru agar benar-benar nyata.

Teknik penambangan data

• Pengelompokan — mengelompokkan catatan yang serupa
• Klasifikasi — menetapkan catatan ke dalam kategori
• Aturan asosiasi — temukan item yang muncul bersamaan
• Regresi — memodelkan hubungan antar variabel
• Deteksi anomali — mengidentifikasi catatan yang tidak biasa

Penambangan data menemukan pola. Manusia memutuskan apa artinya. Algoritma adalah alat, bukan peramal.