데이터셋은 분석을 위해 정리된 관련 데이터 포인트들의 모음입니다. 단일 테이블, 파일 집합 또는 데이터베이스 추출본일 수 있습니다. 데이터셋은 특정한 목적을 가지고 있습니다. 예를 들어, 아이리스 데이터셋은 꽃잎과 꽃받침의 측정값을 포함하고 있으며, 분류 학습에 사용됩니다. MNIST 데이터셋은 손글씨 숫자 데이터를 포함하고 있으며, 이미지 인식 성능 평가에 사용됩니다. 기업의 매출 데이터셋은 거래 내역을 포함하고 있으며, 수익 예측에 사용됩니다. 데이터셋은 분석의 범위를 정의합니다.

데이터셋은 크기, 품질, 구조 면에서 매우 다양합니다. 스프레드시트에서 열 수 있을 만큼 작은 데이터셋도 있고, 분산 스토리지에 걸쳐 페타바이트 규모로 방대한 데이터셋도 있습니다. 출처가 명확하게 문서화되어 신중하게 관리된 데이터셋도 있고, 신뢰성을 알 수 없는 웹에서 수집된 데이터셋도 있습니다. 데이터셋의 품질은 이를 기반으로 하는 분석의 품질을 좌우합니다. 결측값이 있거나, 표본 추출에 편향이 있거나, 라벨링이 일관되지 않은 데이터셋은 신뢰할 수 없는 결과를 초래합니다. 데이터셋을 사용하기 전에 반드시 검토해야 합니다. 출처는 무엇인가요? 어떻게 수집되었나요? 데이터 기간은 어떻게 되나요? 어떤 데이터가 누락되었나요? 알려진 한계점은 무엇인가요? 이러한 질문들은 선택 사항이 아닙니다. 이러한 질문들을 통해 데이터가 어떤 용도로 사용될 수 있는지 결정됩니다. 한 분석에 적합한 데이터셋이 다른 분석에는 적합하지 않을 수 있습니다. 데이터 자체는 자신의 한계를 알지 못합니다. 분석가가 알아야 합니다.

데이터셋 특성

• 크기 — 레코드 및 피처 수
• 구조 - 표 형식, 계층 형식 또는 비구조적
• 품질 — 정확성, 완전성, 일관성
• 출처 — 어디에서 왔고 어떻게 만들어졌는지
• 라이선스 - 이용 약관 및 재배포

데이터셋은 세상의 한 단면을 보여주는 스냅샷입니다. 이 스냅샷에는 프레임이 있습니다. 프레임을 이해하는 것은 데이터를 이해하는 데 필수적인 부분입니다.