大数据指的是规模过大或过于复杂，传统工具无法处理的数据集。数据量是其中一个维度。速度是另一个维度：数据实时从传感器、日志和点击流等来源到达。多样性涵盖了结构化表格、非结构化文本、图像和视频等多种数据类型。这三个“V”多年来一直是大数据的标准定义。有些人还会加上真实性，即数据是否可信的问题。

为了应对数据规模的扩张，各种工具也随之发展。Hadoop 将存储和处理分布在通用服务器上。Spark 增加了内存计算功能，提高了速度。NoSQL 数据库能够处理关系型系统难以处理的非结构化数据。云平台将大数据基础设施转化为服务。这股热潮在 2015 年左右达到顶峰。几乎每家公司都想要一个数据湖。许多公司建造了数据湖，却从未真正使用过其中的数据。技术本身是有效的。难点在于提出正确的问题，并具备解答这些问题的能力。大数据的价值不在于其规模庞大，而在于它能够揭示小型数据集所遗漏的信息。大多数情况下，精心设计的样本胜过杂乱无章的完整数据集。

大数据维度

• 容量——从太字节到拍字节
• 速度——实时或近实时流
• 多样性——结构化、半结构化和非结构化
• 真实性——准确性和可信度
• 价值——能够证明成本合理的洞见

大数据是一种工具，而非目标。目标是做出更明智的决策。单靠数据规模本身并不能实现这一目标。