데이터 변환은 데이터를 한 형식이나 구조에서 다른 형식이나 구조로 변환하는 것입니다. 한 시스템에 03/14/2024로 저장된 날짜는 다른 시스템에서는 2024-03-14가 됩니다. 두 개의 필드에 나뉘어 저장된 고객 이름은 하나로 병합됩니다. 통화 값은 유로에서 달러로 변환됩니다. 데이터 자체는 동일하며, 표현 방식만 바뀝니다. 데이터 변환이 없으면 시스템 간 통신이 불가능합니다.

변환은 광범위한 작업을 포괄합니다. 클리닝은 오류를 수정하고 형식을 표준화합니다. 인리치먼트는 생년월일에서 나이를 계산하는 것과 같이 파생 필드를 추가합니다. 집계는 상세 행을 합계로 요약합니다. 조인은 여러 소스의 데이터를 결합합니다. 인코딩은 머신 러닝을 위해 범주형 값을 숫자로 변환합니다. 각 작업은 정의된 방식으로 데이터를 변경합니다. 이러한 규칙은 문서화되고 버전 관리되어야 합니다. 문서화되지 않은 변환은 블랙박스와 같습니다. 출력 결과가 잘못되어 보이더라도 아무도 그 이유를 알 수 없습니다. 변환에는 테스트도 필요합니다. 일치하지 않는 행을 삭제하는 조인은 데이터를 조용히 손실시킵니다. 잘못된 형식을 가정하는 날짜 파서는 모든 레코드를 손상시킵니다. 작은 변환 오류가 수백만 개의 행에 걸쳐 누적됩니다. 출력 결과는 그럴듯해 보이지만 실제로는 잘못되었습니다. 이러한 오류를 잡아내는 것이 가장 어렵습니다.

일반적인 변환

• 정리 — 형식을 표준화하고 오류를 수정합니다.
• 데이터 보강 — 파생 데이터 또는 외부 데이터 추가
• 집계 — 세부 정보를 요약하여 총계를 산출합니다.
• 데이터 결합 — 여러 소스의 데이터를 결합합니다.
• 인코딩 — 범주를 숫자 값으로 변환

변환은 데이터가 유용해지는 과정입니다. 또한, 눈에 띄지 않는 오류가 발생하기 쉬운 곳이기도 합니다. 규칙을 테스트하고 문서화하십시오.