Dolování dat nachází vzory ve velkých datových sadách. Využívá statistiky, strojové učení a databázové techniky k odhalení vztahů, které nejsou zřejmé. Prodejce zjistí, že zákazníci, kteří si kupují plenky, si v pátek večer kupují také pivo. Banka zjistí, že určité transakční vzorce předpovídají podvody. Nemocnice identifikuje rizikové faktory pro opětovné přijetí do nemocnice. Tyto vzorce jsou skutečné. Zda jsou užitečné, závisí na tom, co s nimi uděláte.

Dolování dat není totéž co analýza dat. Analytika testuje hypotézy. Dolování je generuje. Nevíte, co hledáte. Algoritmus najde korelace a anomálie. Pak člověk rozhodne, které z nich jsou důležité. Poslední krok je kritický. Korelace není kauzalita. Vzor může být falešný. Může odrážet matoucí proměnnou. Může se jednat o datový artefakt. Dolování dat produkuje kandidáty, nikoli závěry. Mezi techniky patří shlukování, klasifikace, regrese, asociační pravidla a detekce anomálií. Každá z nich se hodí pro jiné problémy. Nástroje se staly dostupnými. Knihovny Pythonu a cloudové služby umožňují analytikům spouštět složité algoritmy bez hlubokých znalostí. Rizikem je zneužití. Spuštění tisíce modelů a výběr toho s nejlepším výsledkem není objev. Je to přeplnění. Vzor musí obsahovat nová data, aby byl reálný.

Techniky dolování dat

• Shlukování – seskupování podobných záznamů
• Klasifikace – přiřazování záznamů do kategorií
• Pravidla asociace – nalezení položek, které se vyskytují společně
• Regrese – model vztahů mezi proměnnými
• Detekce anomálií – identifikace neobvyklých záznamů

Dolování dat nachází vzory. Lidé rozhodují, co znamenají. Algoritmus je nástroj, ne věštec.