データソースとは、データの出所のことです。データベース、API、ログファイル、センサー、アンケート、公的記録などはすべてデータソースとして機能します。データソースによって、データの構造、品質、信頼性が決まります。制約と検証が適切に管理されたデータベースは、手作業で入力されたスプレッドシートよりもクリーンなデータを生成します。校正のずれがあるセンサーは、偏った測定値を生成します。公開されているデータセットは、不完全であったり、古くなっていたりする可能性があります。
データの信頼性を確保するには、情報源を知ることが不可欠です。データはどこから来たのか?誰が収集したのか?いつ?どのように?どのような方法が用いられたのか?何が除外されたのか?これらの質問によって、データが何を裏付け、何を裏付けないのかが決まります。100人を対象とした調査データは、数百万人の人口に関する主張を裏付けることはできません。成功した取引のみを記録するシステムからのデータは、失敗した取引を見逃します。ベンダーからのデータは、ベンダーの目的には正確でも、あなたの目的には不適切かもしれません。情報源はパイプラインにも影響します。安定したスキーマを持つデータベースは、毎月HTMLを変更するWebサイトよりも統合が容易です。レート制限のあるAPIは、取得できるデータ量を制限します。手動で送られてくるファイルは、遅延やエラーが発生しやすいです。情報源は土台です。土台が弱いと、その上に構築されるすべてが損なわれます。
一般的なデータソース
- データベース — アプリケーションからの構造化レコード
- API(API)—外部システムへのプログラムによるアクセス
- ログファイル — システムおよびアプリケーションイベント
- センサー — 連続的な物理測定
- アンケート調査 ― 人々からの構造化された回答
- 公的記録 ― 政府およびオープンデータセット
データを信頼する前に、その情報源を理解しましょう。情報源から得られる答えは、データそのものよりも多くのことを明らかにしてくれる場合が多いのです。
Comments
No comments yet. Be the first to share a thought.
Leave a comment