Dữ liệu lớn mô tả các tập dữ liệu quá lớn hoặc quá phức tạp đối với các công cụ truyền thống. Khối lượng là một chiều. Tốc độ là một chiều khác: dữ liệu đến theo thời gian thực từ cảm biến, nhật ký và luồng nhấp chuột. Sự đa dạng bao gồm sự kết hợp của các bảng có cấu trúc, văn bản không có cấu trúc, hình ảnh và video. Ba chữ V này đã là định nghĩa tiêu chuẩn trong nhiều năm. Một số người bổ sung thêm tính xác thực, tức là câu hỏi liệu dữ liệu có đáng tin cậy hay không.

Các công cụ đã được phát triển để xử lý quy mô lớn. Hadoop phân tán lưu trữ và xử lý trên các máy chủ thông thường. Spark bổ sung khả năng tính toán trong bộ nhớ để tăng tốc độ. Cơ sở dữ liệu NoSQL xử lý dữ liệu phi cấu trúc mà các hệ thống quan hệ gặp khó khăn. Nền tảng đám mây biến cơ sở hạ tầng dữ liệu lớn thành một dịch vụ. Sự cường điệu đạt đỉnh điểm vào khoảng năm 2015. Mọi công ty đều muốn có một "hồ dữ liệu" (data lake). Nhiều công ty đã xây dựng chúng nhưng chưa bao giờ sử dụng dữ liệu. Công nghệ hoạt động hiệu quả. Phần khó khăn là đặt ra những câu hỏi đúng và có kỹ năng để trả lời chúng. Dữ liệu lớn không có giá trị chỉ vì nó lớn. Nó có giá trị khi nó tiết lộ điều gì đó mà một tập dữ liệu nhỏ hơn sẽ bỏ sót. Hầu hết thời gian, một mẫu được thiết kế tốt sẽ tốt hơn một tập dữ liệu đầy đủ lộn xộn.

Kích thước của dữ liệu lớn

• Dung lượng — từ terabyte đến petabyte
• Velocity — luồng thời gian thực hoặc gần thời gian thực
• Đa dạng — có cấu trúc, bán cấu trúc và không có cấu trúc
• Tính xác thực — độ chính xác và độ tin cậy
• Giá trị — những hiểu biết giúp biện minh cho chi phí

Dữ liệu lớn là một công cụ, không phải là mục tiêu. Mục tiêu là đưa ra những quyết định tốt hơn. Chỉ riêng quy mô thôi thì không đủ để đạt được điều đó.