Veri madenciliği, büyük veri kümelerinde kalıplar bulur. İstatistik, makine öğrenimi ve veritabanı tekniklerini kullanarak, açıkça görünmeyen ilişkileri ortaya çıkarır. Bir perakendeci, bebek bezi alan müşterilerin cuma akşamları bira da aldığını keşfeder. Bir banka, belirli işlem kalıplarının dolandırıcılığı öngördüğünü bulur. Bir hastane, yeniden yatış için risk faktörlerini belirler. Kalıplar gerçektir. Bunların yararlı olup olmadığı, onlarla ne yaptığınıza bağlıdır.

Veri madenciliği, veri analitiğiyle aynı şey değildir. Analitik hipotezleri test eder. Madencilik ise hipotez üretir. Ne aradığınızı bilmiyorsunuz. Algoritma korelasyonları ve anormallikleri bulur. Ardından bir insan hangilerinin önemli olduğuna karar verir. Bu son adım çok önemlidir. Korelasyon nedensellik anlamına gelmez. Bir örüntü sahte olabilir. Karıştırıcı bir değişkeni yansıtabilir. Bir veri hatası olabilir. Madencilik sonuçlar değil, adaylar üretir. Teknikler arasında kümeleme, sınıflandırma, regresyon, ilişkilendirme kuralları ve anormallik tespiti bulunur. Her biri farklı sorunlara uygundur. Araçlar erişilebilir hale geldi. Python kütüphaneleri ve bulut hizmetleri, analistlerin derin uzmanlığa ihtiyaç duymadan karmaşık algoritmaları çalıştırmasına olanak tanır. Risk, yanlış kullanımdır. Binlerce model çalıştırmak ve en iyi sonucu vereni seçmek keşif değildir. Bu aşırı uyumdur. Örüntünün gerçek olması için yeni verilerde de geçerli olması gerekir.

Veri madenciliği teknikleri

• Kümeleme — benzer kayıtları gruplandırma
• Sınıflandırma — kayıtları kategorilere atama
• İlişkilendirme kuralları — birlikte ortaya çıkan öğeleri bulun
• Regresyon — değişkenler arasındaki ilişkileri modelleme
• Anormallik tespiti — olağandışı kayıtları belirleme

Veri madenciliği kalıpları bulur. İnsanlar bunların ne anlama geldiğine karar verir. Algoritma bir araçtır, bir kahin değildir.