数据收集从各种来源获取信息。调查问卷、传感器、网络日志、交易记录、社交媒体和公共数据库都为这一过程提供数据。收集方法会影响数据。带有诱导性问题的调查问卷会产生有偏差的答案。校准漂移的传感器会产生不准确的读数。无视速率限制的网络爬虫会被屏蔽。数据收集并非中立的。每一个选择都会影响你最终获得的信息。

第一个问题是你需要什么以及为什么需要。收集所有数据固然诱人，但通常也是浪费。数据存储需要成本，处理需要成本，清洗也需要成本。闲置的数据是负债，而非资产。第二个问题是如何以合乎道德和法律的方式收集数据。征得同意至关重要。像 GDPR 这样的隐私法要求收集个人数据必须有合法依据。许多平台的服务条款也限制了数据抓取。第三个问题是数据质量。数据来源可靠吗？样本具有代表性吗？是否存在数据缺失？缺乏质量控制的数据收集会导致后续出现问题。发现问题的最佳时机是在数据进入处理流程之前，而不是在有人基于数据构建模型之后。

收集方法

• 调查问卷——结构化问题，容易出现回答偏差
• 传感器——自动化、连续式、对校准敏感
• 网络抓取——提取公开数据，但须遵守法律限制。
• 交易日志——自动捕获用户行为
• 公共记录——政府和开放数据源

数据收集是一种设计决策。你收集了什么，就决定了你能学到什么；你错过了什么，就决定了你永远无法了解什么。