تُشير البيانات الضخمة إلى مجموعات البيانات التي تتجاوز حجمها أو تعقيدها قدرة الأدوات التقليدية على التعامل معها. يُعدّ الحجم أحد أبعادها، بينما تُشكّل السرعة بُعدًا آخر، حيث تصل البيانات في الوقت الفعلي من أجهزة الاستشعار والسجلات وتدفقات النقرات. أما التنوع، فيشمل مزيجًا من الجداول المنظمة والنصوص غير المنظمة والصور والفيديوهات. وقد ظلّت هذه الأبعاد الثلاثة هي التعريف القياسي لسنوات. ويضيف البعض بُعد المصداقية، أي مدى موثوقية البيانات.

تطورت الأدوات لتستوعب هذا الحجم الهائل من البيانات. وزّع هادوب التخزين والمعالجة على خوادم قياسية. وأضاف سبارك الحوسبة في الذاكرة لزيادة السرعة. وتعاملت قواعد بيانات NoSQL مع البيانات غير المهيكلة التي كانت الأنظمة العلائقية تواجه صعوبة في التعامل معها. وحوّلت المنصات السحابية بنية البيانات الضخمة إلى خدمة. وبلغت الضجة ذروتها حوالي عام 2015. أرادت كل شركة امتلاك بحيرة بيانات. أنشأها الكثيرون ولم يستخدموا البيانات قط. التكنولوجيا فعّالة، لكن الصعوبة تكمن في طرح الأسئلة الصحيحة وامتلاك المهارات اللازمة للإجابة عليها. لا تكمن قيمة البيانات الضخمة في حجمها فحسب، بل في قدرتها على كشف معلومات قد تغفلها مجموعة بيانات أصغر. في أغلب الأحيان، تتفوق عينة مصممة جيدًا على مجموعة بيانات كاملة غير منظمة.

أبعاد البيانات الضخمة

• الحجم — من تيرابايت إلى بيتابايت
• السرعة — تدفقات في الوقت الفعلي أو شبه الفعلي
• التنوع - منظم، شبه منظم، وغير منظم
• الصدق - الدقة والموثوقية
• القيمة - رؤى تبرر التكلفة

البيانات الضخمة أداة وليست غاية. الغاية هي اتخاذ قرارات أفضل، فالحجم وحده لا يحقق ذلك.