Jakość danych mierzy, jak dobrze dane pasują do zamierzonego celu. Dokładne, kompletne, spójne, aktualne i prawidłowe. Błędne dane mają wiele wariantów. Brakująca wartość. Duplikat rekordu. Data w niewłaściwym formacie. Adres, który nie istnieje. Każdy defekt generuje koszty. Kampania marketingowa wysyła pocztę na nieaktualne adresy. Raport finansowy zawyża przychody z powodu duplikatów. Model uczenia maszynowego tworzy błędne prognozy, ponieważ dane treningowe były niekompletne.

Jakość danych nie jest jednorazowym rozwiązaniem. To praktyka. Zdefiniuj wymiary jakości dla każdego zestawu danych. Mierz je regularnie. Ustal progi akceptowalnej jakości. Zbadaj, kiedy liczby spadają. Głównymi przyczynami są zazwyczaj problemy procesowe, a nie technologiczne. Wprowadzanie danych bez walidacji powoduje błędy. Systemy, które nie mają wspólnego identyfikatora klienta, tworzą duplikaty. Procesy, które dopuszczają niekompletne rekordy, tworzą luki. Naprawa procesu zapobiega błędom. Naprawa danych bez naprawy procesu oznacza, że ​​błędy powracają. Narzędzia do jakości danych pomagają w profilowaniu, oczyszczaniu i monitorowaniu. Nie zastępują one odpowiedzialności. Ktoś musi być odpowiedzialny za każdy zestaw danych. Bez tej odpowiedzialności jakość spada. Zawsze spada.

Wymiary jakości danych

• Dokładność — dane odzwierciedlają rzeczywistość
• Kompletność — brak brakujących wartości
• Spójność — te same dane we wszystkich systemach
• Aktualność — dane są aktualne
• Ważność — dane są zgodne z regułami
• Unikalność — brak duplikatów

Jakość danych to zadanie każdego. Jeśli nie jest to zadanie nikogo, to się nie powiedzie.