Thu thập dữ liệu là quá trình thu thập thông tin từ nhiều nguồn khác nhau. Các cuộc khảo sát, cảm biến, nhật ký web, hồ sơ giao dịch, mạng xã hội và cơ sở dữ liệu công cộng đều góp phần vào quá trình này. Phương pháp thu thập dữ liệu sẽ định hình dữ liệu. Một cuộc khảo sát với các câu hỏi định hướng sẽ tạo ra câu trả lời thiên lệch. Một cảm biến có sự sai lệch về hiệu chuẩn sẽ tạo ra các kết quả đo không chính xác. Một trình thu thập dữ liệu web bỏ qua giới hạn tốc độ sẽ bị chặn. Việc thu thập dữ liệu không phải là trung lập. Mỗi lựa chọn đều ảnh hưởng đến những gì bạn học được.

Câu hỏi đầu tiên là bạn cần gì và tại sao. Thu thập mọi thứ rất hấp dẫn nhưng thường lãng phí. Chi phí lưu trữ dữ liệu. Chi phí xử lý. Chi phí làm sạch. Dữ liệu không được sử dụng là một khoản nợ chứ không phải là một tài sản. Câu hỏi thứ hai là làm thế nào để thu thập dữ liệu một cách có đạo đức và hợp pháp. Sự đồng ý rất quan trọng. Các luật về quyền riêng tư như GDPR yêu cầu cơ sở pháp lý để thu thập dữ liệu cá nhân. Điều khoản dịch vụ hạn chế việc thu thập dữ liệu tự động trên nhiều nền tảng. Câu hỏi thứ ba là chất lượng. Nguồn dữ liệu có đáng tin cậy không? Mẫu dữ liệu có đại diện không? Có thiếu sót nào không? Việc thu thập dữ liệu mà không có kiểm soát chất lượng sẽ tạo ra các tập dữ liệu dễ bị lỗi sau này. Thời điểm tốt nhất để phát hiện vấn đề là trước khi dữ liệu được đưa vào quy trình xử lý, chứ không phải sau khi ai đó xây dựng mô hình dựa trên dữ liệu đó.

Phương pháp thu thập

• Khảo sát — câu hỏi có cấu trúc, dễ bị sai lệch do thiên kiến ​​phản hồi.
• Cảm biến — tự động, liên tục, nhạy cảm với hiệu chuẩn
• Thu thập dữ liệu từ web (web scraping) — trích xuất dữ liệu công khai, tuân thủ các giới hạn pháp lý.
• Nhật ký giao dịch — tự động ghi lại hành vi người dùng
• Hồ sơ công khai — nguồn dữ liệu của chính phủ và dữ liệu mở.

Việc thu thập dữ liệu là một quyết định mang tính thiết kế. Những gì bạn thu thập sẽ quyết định những gì bạn có thể học được. Những gì bạn bỏ sót sẽ quyết định những gì bạn sẽ không bao giờ biết được.