ビッグデータとは、従来のツールでは処理しきれないほど大規模または複雑なデータセットを指します。ボリュームは一つの次元であり、ベロシティはもう一つの次元です。ベロシティとは、センサー、ログ、クリックストリームなどからリアルタイムで送られてくるデータのことです。バラエティとは、構造化されたテーブル、非構造化されたテキスト、画像、動画など、様々な種類のデータが混在していることを意味します。この3つのVは、長年にわたり標準的な定義として用いられてきました。中には、データの信頼性、つまり真実性を加える人もいます。

規模に対応するためにツールが進化しました。Hadoopは汎用サーバーにストレージと処理を分散させました。Sparkは速度向上のためにインメモリ計算を追加しました。NoSQLデータベースはリレーショナルシステムでは処理が困難な非構造化データを扱いました。クラウドプラットフォームはビッグデータインフラストラクチャをサービスに変えました。ブームは2015年頃にピークを迎えました。どの企業もデータレイクを欲しがりました。多くの企業がデータレイクを構築しましたが、データを利用することはありませんでした。テクノロジーは機能します。難しいのは、適切な質問をし、それに答えるスキルを持つことです。ビッグデータは、大きいから価値があるのではありません。より小さなデータセットでは見逃してしまうような何かを明らかにするときに価値があるのです。ほとんどの場合、適切に設計されたサンプルは、乱雑な完全なデータセットよりも優れています。

ビッグデータの次元

• 容量 ― テラバイトからペタバイト
• Velocity — リアルタイムまたはほぼリアルタイムのストリーム
• 多様性 ― 構造化されたもの、半構造化されたもの、非構造化されたもの
• 真実性 ― 正確性と信頼性
• 価値 ― コストに見合うだけの洞察

ビッグデータはツールであって、目的ではない。目的はより良い意思決定を行うことだ。データ量が多いだけでは、より良い意思決定は実現しない。