Tập dữ liệu là một tập hợp các điểm dữ liệu liên quan được tổ chức để phân tích. Nó có thể là một bảng duy nhất, một tập hợp các tệp hoặc một trích xuất từ cơ sở dữ liệu. Mỗi tập dữ liệu đều có mục đích riêng. Tập dữ liệu Iris chứa các phép đo kích thước cánh hoa và đài hoa, được sử dụng để huấn luyện phân loại. Tập dữ liệu MNIST chứa các chữ số viết tay, được sử dụng để đánh giá hiệu suất nhận dạng hình ảnh. Tập dữ liệu bán hàng của một công ty chứa các giao dịch, được sử dụng để dự báo doanh thu. Tập dữ liệu xác định phạm vi của phân tích.
Các tập dữ liệu rất đa dạng về kích thước, chất lượng và cấu trúc. Một số đủ nhỏ để mở trong bảng tính. Một số khác trải rộng trên nhiều petabyte ở các hệ thống lưu trữ phân tán. Một số được tuyển chọn cẩn thận với nguồn gốc được ghi chép đầy đủ. Một số khác được thu thập từ web với độ tin cậy không rõ. Chất lượng của tập dữ liệu quyết định chất lượng của phân tích được xây dựng trên đó. Một tập dữ liệu có giá trị thiếu, lấy mẫu thiên lệch hoặc ghi nhãn không nhất quán sẽ tạo ra kết quả không đáng tin cậy. Trước khi sử dụng một tập dữ liệu, hãy kiểm tra nó. Nguồn gốc của nó là gì? Nó được thu thập như thế nào? Khoảng thời gian là bao nhiêu? Những gì bị thiếu? Những hạn chế đã biết là gì? Những câu hỏi này là bắt buộc. Chúng quyết định những gì dữ liệu có thể hỗ trợ. Một tập dữ liệu phù hợp cho một phân tích có thể không phù hợp cho phân tích khác. Dữ liệu không biết những hạn chế của chính nó. Nhà phân tích phải biết điều đó.
Đặc điểm của tập dữ liệu
- Kích thước — số lượng bản ghi và tính năng
- Cấu trúc — dạng bảng, dạng phân cấp hoặc dạng phi cấu trúc
- Chất lượng — độ chính xác, tính đầy đủ, tính nhất quán
- Nguồn gốc xuất xứ — xuất xứ từ đâu và như thế nào
- Giấy phép — điều khoản sử dụng và phân phối lại
Tập dữ liệu là một bức ảnh chụp nhanh về thế giới. Bức ảnh chụp nhanh đó có một khung hình. Hiểu được khung hình là một phần của việc hiểu dữ liệu.
Comments
No comments yet. Be the first to share a thought.
Leave a comment