Zbiór danych to zbiór powiązanych punktów danych zorganizowanych do analizy. Może to być pojedyncza tabela, zestaw plików lub ekstrakt z bazy danych. Zbiór danych ma określony cel. Zbiór danych Iris zawiera pomiary płatków i działek kielicha kwiatów, wykorzystywane do nauki klasyfikacji. Zbiór danych MNIST zawiera odręcznie zapisane cyfry, wykorzystywane do oceny rozpoznawania obrazów. Zbiór danych sprzedaży firmy zawiera transakcje, wykorzystywane do prognozowania przychodów. Zbiór danych definiuje granice analizy.
Zestawy danych różnią się znacznie pod względem rozmiaru, jakości i struktury. Niektóre są na tyle małe, że można je otworzyć w arkuszu kalkulacyjnym. Inne obejmują petabajty w rozproszonej pamięci masowej. Niektóre są starannie selekcjonowane z udokumentowanym pochodzeniem. Inne są pobierane z internetu z nieznaną wiarygodnością. Jakość zestawu danych decyduje o jakości analizy na jego podstawie. Zestaw danych z brakującymi wartościami, stronniczym próbkowaniem lub niespójnym etykietowaniem generuje niewiarygodne wyniki. Przed użyciem zestawu danych należy go zbadać. Jakie jest źródło? Jak został zebrany? Jaki jest okres? Czego brakuje? Jakie są znane ograniczenia? Te pytania nie są opcjonalne. Określają one, co mogą wspierać dane. Zestaw danych, który sprawdza się w jednej analizie, może być nieodpowiedni dla innej. Dane nie znają swoich własnych ograniczeń. Analityk musi…
Charakterystyka zbioru danych
- Rozmiar — liczba rekordów i cech
- Struktura — tabelaryczna, hierarchiczna lub niestrukturalna
- Jakość — dokładność, kompletność, spójność
- Pochodzenie – skąd pochodzi i jak
- Licencja — warunki użytkowania i redystrybucji
Zbiór danych to migawka świata. Migawka ma ramkę. Zrozumienie ramki jest częścią zrozumienia danych.
Comments
No comments yet. Be the first to share a thought.
Leave a comment