데이터 소스는 데이터가 생성되는 곳을 의미합니다. 데이터베이스, API, 로그 파일, 센서, 설문 조사, 공공 기록 등이 모두 데이터 소스가 될 수 있습니다. 데이터 소스는 데이터의 구조, 품질 및 신뢰성을 결정합니다. 제약 조건과 유효성 검사가 잘 적용된 데이터베이스는 수기로 작성된 스프레드시트보다 더 정확한 데이터를 생성합니다. 보정 오차가 있는 센서는 편향된 측정값을 생성합니다. 공개 데이터 세트는 불완전하거나 오래되었을 수 있습니다.

데이터의 신뢰성을 확보하려면 출처를 아는 것이 필수적입니다. 데이터는 어디에서 왔습니까? 누가 수집했습니까? 언제, 어떻게 수집했습니까? 어떤 방법을 사용했습니까? 어떤 데이터가 제외되었습니까? 이러한 질문들을 통해 데이터가 무엇을 뒷받침할 수 있고 무엇을 뒷받침할 수 없는지 판단할 수 있습니다. 100명을 대상으로 한 설문조사 데이터는 수백만 명에 달하는 인구에 대한 주장을 뒷받침할 수 없습니다. 성공적인 거래만 기록하는 시스템의 데이터는 실패를 놓칩니다. 공급업체의 데이터는 그들의 목적에는 정확할 수 있지만, 여러분의 목적에는 맞지 않을 수 있습니다. 출처는 파이프라인에도 영향을 미칩니다. 안정적인 스키마를 가진 데이터베이스는 매달 HTML이 변경되는 웹사이트보다 통합하기가 훨씬 쉽습니다. 사용량 제한이 있는 API는 가져올 수 있는 데이터 양을 제한합니다. 수동으로 전달되는 파일은 지연 및 오류가 발생하기 쉽습니다. 출처는 기반입니다. 약한 기반은 그 위에 세워진 모든 것을 무너뜨립니다.

일반적인 데이터 소스

• 데이터베이스 — 애플리케이션에서 가져온 구조화된 기록
• API — 외부 시스템에 대한 프로그래밍 방식 접근
• 로그 파일 - 시스템 및 애플리케이션 이벤트
• 센서 — 지속적인 물리적 측정
• 설문조사 — 사람들의 구조화된 답변
• 공공 기록 — 정부 및 공개 데이터 세트

데이터를 신뢰하기 전에 출처를 파악하십시오. 출처를 통해 알 수 있는 정보는 데이터 자체보다 더 많은 것을 드러내는 경우가 많습니다.