非構造化データには、あらかじめ定義されたフォーマットがありません。テキスト文書、電子メール、動画、音声録音、画像、ソーシャルメディアへの投稿などはすべてこれに該当します。データは行と列に収まらず、スキーマにも従いません。組織が作成するデータの大部分は非構造化データです。推定では、企業データ全体の80～90%が非構造化データであるとされています。そのほとんどは、従来のツールでは容易に処理できないため、活用されずに放置されています。

課題は抽出です。非構造化データを分析するには、まず構造化する必要があります。自然言語処理はテキストからエンティティ、感情、トピックを抽出します。コンピュータビジョンは画像内のオブジェクトやシーンを識別します。音声認識は音声を文字起こしします。これらの技術はそれぞれ、非構造化データを分析可能な構造化表現に変換します。しかし、この変換は完全ではありません。NLPモデルはニュアンスや皮肉を見逃します。ビジョンモデルは類似したオブジェクトを混同します。文字起こしのエラーが蓄積されます。構造化された出力は近似値であり、完全な反映ではありません。困難にもかかわらず、非構造化データには計り知れない価値があります。顧客からのメールは苦情や要望を明らかにします。サポートチケットは製品の問題のパターンを示します。通話録音はテキストでは捉えられないトーンや感情を捉えます。非構造化データを活用できる組織は、競合他社が見逃す洞察を得ることができます。ツールは進化していますが、課題は依然として残っています。

非構造化データ型

• テキスト — 文書、メール、ソーシャルメディアへの投稿
• 画像 ― 写真、図表、スキャン画像
• 音声 — 録音、通話、音楽
• 動画 ― 映像、ストリーミング配信、プレゼンテーション
• バイナリファイル — テキスト形式が定義されていないファイル

非構造化データは、現代の分析における原材料である。そこから価値を引き出すには、構造が存在しない場所に構造を無理やり作り出す必要がある。