يكشف التنقيب عن البيانات عن أنماط في مجموعات البيانات الضخمة. ويستخدم الإحصاءات والتعلم الآلي وتقنيات قواعد البيانات للكشف عن علاقات غير ظاهرة. على سبيل المثال، يكتشف أحد متاجر التجزئة أن العملاء الذين يشترون حفاضات الأطفال يشترون البيرة أيضًا مساء كل جمعة. ويكتشف أحد البنوك أن أنماطًا معينة في المعاملات تنبئ بالاحتيال. ويحدد أحد المستشفيات عوامل الخطر لإعادة دخول المرضى. هذه الأنماط حقيقية، لكن فائدتها تعتمد على كيفية استخدامها.

التنقيب عن البيانات ليس هو نفسه تحليل البيانات. يختبر التحليل الفرضيات، بينما يُولّدها التنقيب. أنت لا تعرف ما تبحث عنه تحديدًا. تجد الخوارزمية الارتباطات والشذوذات، ثم يقرر الإنسان أيها ذو أهمية. هذه الخطوة الأخيرة حاسمة. الارتباط لا يعني السببية، فقد يكون النمط زائفًا، أو يعكس متغيرًا مُربكًا، أو حتى مجرد خلل في البيانات. يُنتج التنقيب مرشحين، لا استنتاجات. تشمل التقنيات التجميع، والتصنيف، والانحدار، وقواعد الارتباط، وكشف الشذوذات. كل تقنية تُناسب مشاكل مختلفة. أصبحت الأدوات متاحة للجميع، فمكتبات بايثون والخدمات السحابية تُمكّن المحللين من تشغيل خوارزميات معقدة دون خبرة مُعمقة. يكمن الخطر في سوء الاستخدام. تشغيل ألف نموذج واختيار النموذج ذي أفضل نتيجة ليس اكتشافًا، بل هو إفراط في التخصيص. يجب أن يثبت النمط على بيانات جديدة ليكون حقيقيًا.

تقنيات استخراج البيانات

• التجميع — تجميع السجلات المتشابهة
• التصنيف — تعيين السجلات إلى فئات
• قواعد الربط — ابحث عن العناصر التي تتواجد معًا
• الانحدار - نمذجة العلاقات بين المتغيرات
• الكشف عن الحالات الشاذة - تحديد السجلات غير العادية

يكشف التنقيب في البيانات عن الأنماط، لكن البشر هم من يحددون معناها. الخوارزمية أداة وليست مرجعاً موثوقاً.