데이터 마이닝은 방대한 데이터 세트에서 패턴을 찾는 기술입니다. 통계, 머신 러닝, 데이터베이스 기술을 활용하여 눈에 잘 띄지 않는 관계를 밝혀냅니다. 예를 들어, 한 소매업체는 기저귀를 구매하는 고객이 금요일 저녁에 맥주도 구매한다는 사실을 발견했습니다. 은행은 특정 거래 패턴이 사기를 예측하는 데 유용하다는 것을 알아냈습니다. 병원은 재입원 위험 요인을 파악했습니다. 이러한 패턴은 실제로 존재합니다. 하지만 그 패턴이 유용한지는 어떻게 활용하느냐에 달려 있습니다.

데이터 마이닝은 데이터 분석과 다릅니다. 분석은 가설을 검증하는 반면, 마이닝은 가설을 생성합니다. 마이닝에서는 무엇을 찾아야 하는지 정확히 알 수 없습니다. 알고리즘은 상관관계와 이상치를 찾아내고, 그 후 사람이 어떤 것이 중요한지 판단합니다. 이 마지막 단계가 매우 중요합니다. 상관관계가 곧 인과관계는 아닙니다. 패턴은 허위일 수도 있고, 교란 변수를 반영하는 것일 수도 있으며, 데이터 오류일 수도 있습니다. 마이닝은 결론이 아닌 후보를 제시합니다. 마이닝 기법에는 클러스터링, 분류, 회귀, 연관 규칙, 이상 탐지 등이 있으며, 각 기법은 서로 다른 문제에 적합합니다. 최근에는 이러한 도구들을 쉽게 사용할 수 있게 되었습니다. 파이썬 라이브러리와 클라우드 서비스를 통해 분석가들은 전문 지식이 없더라도 복잡한 알고리즘을 실행할 수 있습니다. 하지만 오용의 위험이 있습니다. 수천 개의 모델을 실행하고 가장 좋은 결과를 보이는 모델을 선택하는 것은 진정한 발견이 아니라 과적합입니다. 패턴이 새로운 데이터에서도 유효해야 진정한 의미를 갖습니다.

데이터 마이닝 기술

• 클러스터링 — 유사한 레코드를 그룹화합니다.
• 분류 — 레코드를 범주에 할당합니다.
• 연관 규칙 — 함께 나타나는 항목 찾기
• 회귀 분석 — 변수 간의 관계를 모델링합니다.
• 이상 탐지 — 비정상적인 기록 식별

데이터 마이닝은 패턴을 찾아냅니다. 그 패턴의 의미는 사람이 해석합니다. 알고리즘은 도구일 뿐, 신탁이 아닙니다.