数据集是为分析而组织起来的相关数据点的集合。它可以是单个表格、一组文件或数据库提取文件。数据集具有特定的用途。例如,鸢尾花数据集包含花瓣和萼片的测量数据,用于训练分类算法。MNIST 数据集包含手写数字,用于评估图像识别的性能。公司的销售数据集包含交易记录,用于预测收入。数据集定义了分析的范围。
数据集的大小、质量和结构差异巨大。有些数据集小到可以用电子表格打开,而有些则跨越分布式存储,容量高达PB级。有些数据集经过精心整理,来源有据可查,而有些则是从网络上抓取,可靠性未知。数据集的质量决定了基于该数据集进行的分析的质量。如果数据集存在缺失值、抽样偏差或标签不一致等问题,则会产生不可靠的结果。在使用数据集之前,务必仔细检查。它的来源是什么?是如何收集的?时间跨度是多少?缺少哪些信息?已知的局限性是什么?这些问题至关重要,它们决定了数据能够支持哪些分析。适用于某种分析的数据集可能并不适用于另一种分析。数据本身并不知道自身的局限性,分析人员必须了解。
数据集特征
- 规模——记录和特征的数量
- 结构——表格状、层级状或非结构化
- 质量——准确性、完整性、一致性
- 出处——它的来源和来历
- 许可——使用条款和再分发
数据集是世界的快照。快照有其框架。理解框架是理解数据的一部分。
Comments
No comments yet. Be the first to share a thought.
Leave a comment