Eksploracja danych pozwala na odnajdywanie wzorców w dużych zbiorach danych. Wykorzystuje statystyki, uczenie maszynowe i techniki baz danych, aby odkryć zależności, które nie są oczywiste. Sprzedawca detaliczny odkrywa, że ​​klienci kupujący pieluchy kupują również piwo w piątkowe wieczory. Bank odkrywa, że ​​pewne wzorce transakcji przewidują oszustwa. Szpital identyfikuje czynniki ryzyka ponownej hospitalizacji. Wzorce te są rzeczywiste. To, czy okażą się przydatne, zależy od tego, jak je wykorzystasz.

Eksploracja danych to nie to samo, co analiza danych. Analityka testuje hipotezy. Eksploracja generuje je. Nie wiesz, czego szukasz. Algorytm znajduje korelacje i anomalie. Następnie człowiek decyduje, które z nich mają znaczenie. Ten ostatni krok jest kluczowy. Korelacja nie oznacza związku przyczynowo-skutkowego. Wzorzec może być pozorny. Może odzwierciedlać zmienną zakłócającą. Może być artefaktem danych. Eksploracja danych generuje kandydatów, a nie wnioski. Techniki obejmują klasteryzację, klasyfikację, regresję, reguły asocjacyjne i wykrywanie anomalii. Każda z nich rozwiązuje inne problemy. Narzędzia stały się dostępne. Biblioteki Pythona i usługi w chmurze pozwalają analitykom uruchamiać złożone algorytmy bez głębokiej wiedzy specjalistycznej. Ryzyko polega na niewłaściwym użyciu. Uruchomienie tysiąca modeli i wybranie tego z najlepszym wynikiem to nie odkrycie. To nadmierne dopasowanie. Wzorzec musi być zgodny z nowymi danymi, aby był prawdziwy.

Techniki eksploracji danych

• Klastrowanie — grupowanie podobnych rekordów
• Klasyfikacja — przypisywanie rekordów do kategorii
• Reguły asocjacyjne — znajdź elementy, które występują współcześnie
• Regresja — modelowanie relacji między zmiennymi
• Wykrywanie anomalii — identyfikuj nietypowe rekordy

Eksploracja danych znajduje wzorce. To ludzie decydują, co one oznaczają. Algorytm jest narzędziem, a nie wyrocznią.