डेटा माइनिंग बड़े डेटासेट में पैटर्न ढूंढती है। यह सांख्यिकी, मशीन लर्निंग और डेटाबेस तकनीकों का उपयोग करके उन संबंधों को उजागर करती है जो स्पष्ट नहीं होते। एक खुदरा विक्रेता को पता चलता है कि जो ग्राहक डायपर खरीदते हैं, वे शुक्रवार शाम को बीयर भी खरीदते हैं। एक बैंक को पता चलता है कि कुछ लेन-देन पैटर्न धोखाधड़ी की भविष्यवाणी करते हैं। एक अस्पताल पुनः भर्ती होने के जोखिम कारकों की पहचान करता है। ये पैटर्न वास्तविक हैं। इनकी उपयोगिता इस बात पर निर्भर करती है कि आप इनका उपयोग कैसे करते हैं।

डेटा माइनिंग और डेटा एनालिटिक्स एक समान नहीं हैं। एनालिटिक्स परिकल्पनाओं का परीक्षण करता है, जबकि माइनिंग उन्हें उत्पन्न करता है। आपको यह नहीं पता होता कि आप क्या खोज रहे हैं। एल्गोरिदम सहसंबंध और विसंगतियों का पता लगाता है। फिर एक इंसान यह तय करता है कि कौन से महत्वपूर्ण हैं। यह अंतिम चरण अत्यंत महत्वपूर्ण है। सहसंबंध का अर्थ कारण-कार्य संबंध नहीं होता। एक पैटर्न भ्रामक हो सकता है। यह किसी भ्रमित करने वाले चर को प्रतिबिंबित कर सकता है। यह डेटा त्रुटि भी हो सकती है। माइनिंग संभावित परिणाम उत्पन्न करता है, निष्कर्ष नहीं। तकनीकों में क्लस्टरिंग, वर्गीकरण, प्रतिगमन, सहसंबंध नियम और विसंगति पहचान शामिल हैं। प्रत्येक तकनीक अलग-अलग समस्याओं के लिए उपयुक्त है। उपकरण अब सुलभ हो गए हैं। पायथन लाइब्रेरी और क्लाउड सेवाएं विश्लेषकों को गहन विशेषज्ञता के बिना जटिल एल्गोरिदम चलाने की सुविधा देती हैं। जोखिम दुरुपयोग का है। हजारों मॉडल चलाकर सर्वोत्तम परिणाम वाले मॉडल को चुनना खोज नहीं है, बल्कि अति-फिटिंग है। वास्तविक होने के लिए पैटर्न को नए डेटा पर भी लागू होना चाहिए।

डेटा माइनिंग तकनीकें

• क्लस्टरिंग — समान रिकॉर्डों को समूहित करना
• वर्गीकरण — अभिलेखों को श्रेणियों में वर्गीकृत करें
• सहसंबंध नियम — एक साथ घटित होने वाली वस्तुओं को खोजें
• प्रतिगमन — चरों के बीच संबंधों का मॉडल तैयार करना
• विसंगति का पता लगाना — असामान्य रिकॉर्ड की पहचान करना

डेटा माइनिंग से पैटर्न का पता चलता है। उनका अर्थ मनुष्य तय करते हैं। एल्गोरिदम एक उपकरण है, कोई भविष्यवक्ता नहीं।