데이터 수집은 다양한 출처에서 정보를 모으는 과정입니다. 설문 조사, 센서, 웹 로그, 거래 기록, 소셜 미디어, 공개 데이터베이스 등이 모두 이 과정에 활용됩니다. 수집 방법은 데이터에 영향을 미칩니다. 유도 질문이 포함된 설문 조사는 편향된 답변을 낳고, 보정 오차가 있는 센서는 부정확한 측정값을 제공하며, 데이터 전송 속도 제한을 무시하는 웹 스크래퍼는 차단됩니다. 데이터 수집은 중립적이지 않으며, 모든 선택이 학습 결과에 영향을 미칩니다.

첫 번째 질문은 무엇이 필요하고 왜 필요한가입니다. 모든 것을 수집하고 싶은 유혹이 들지만, 대개는 낭비입니다. 데이터 저장, 처리, 정제에 비용이 듭니다. 사용되지 않고 방치된 데이터는 자산이 아니라 부채입니다. 두 번째 질문은 윤리적이고 합법적인 방법으로 데이터를 수집하는 방법입니다. 동의는 매우 중요합니다. GDPR과 같은 개인정보 보호법은 개인정보 수집에 대한 적법한 근거를 요구합니다. 많은 플랫폼의 서비스 약관은 데이터 스크래핑을 제한합니다. 세 번째 질문은 품질입니다. 출처가 신뢰할 수 있는가? 샘플은 대표성을 갖는가? 누락된 데이터는 없는가? 품질 관리 없이 데이터를 수집하면 나중에 문제가 발생할 수 있습니다. 문제를 발견하기 가장 좋은 시기는 데이터가 파이프라인에 들어가기 전이지, 누군가가 데이터를 기반으로 모델을 구축한 후가 아닙니다.

수집 방법

• 설문조사 - 구조화된 질문으로 응답 편향이 발생하기 쉬움
• 센서 - 자동화, 연속 작동, 교정 민감형
• 웹 스크래핑 — 법적 제한을 준수하면서 공개 데이터를 추출하는 행위
• 거래 기록 — 사용자 행동을 자동으로 기록합니다.
• 공공 기록 — 정부 및 공개 데이터 소스

데이터 수집은 설계상의 결정입니다. 무엇을 수집하느냐에 따라 무엇을 알 수 있는지가 결정되고, 무엇을 놓치느냐에 따라 무엇을 결코 알 수 없게 됩니다.