資料來源是指資料的來源。資料庫、應用程式介面(API)、日誌檔案、感測器、調查和公共記錄都可以作為資料來源。資料來源決定了資料的結構、品質和可靠性。維護良好的、具有約束和驗證機制的資料庫比手動填寫的電子表格能提供更清晰的資料。校準漂移的感測器會產生偏差的讀數。公共資料集可能不完整或過時。
了解資料來源對於信任資料至關重要。數據來自哪裡?誰收集的?何時收集的?如何收集的?採用了什麼方法?排除了哪些數據?這些問題決定了數據能夠支持什麼,不能支持什麼。一項針對100人的調查數據無法支持數百萬人口的論點。一個只記錄成功交易的系統會遺漏失敗的交易。供應商提供的數據可能符合他們的預期用途,但不適合你的用途。資料來源也會影響資料處理流程。一個具有穩定模式的資料庫比一個每月都會更改HTML的網站更容易整合。一個有速率限制的API會限制你可以擷取的資料量。手動提交的文件容易出現延遲和錯誤。數據來源是基礎。薄弱的基礎會破壞其上所建構的一切。
常用資料來源
- 資料庫—來自應用程式的結構化記錄
- API-透過程式存取外部系統
- 日誌檔案—系統和應用程式事件
- 感測器——連續物理測量
- 調查-來自人們的結構化回答
- 公共記錄—政府和開放資料集
在相信資料之前,先了解資料來源。答案往往比數據本身更有啟發性。
Comments
No comments yet. Be the first to share a thought.
Leave a comment