데이터 레이크는 원시 데이터를 원래 형식 그대로 저장합니다. 쓰기 시에는 스키마가 적용되지 않습니다. 구조화된 테이블, JSON 로그, 이미지, 비디오 등 모든 데이터가 동일한 저장소에 저장됩니다. 스키마는 데이터를 저장할 때가 아니라 읽을 때 적용됩니다. 이러한 유연성이 데이터 레이크의 매력입니다. 데이터 레이크는 어떤 데이터든 받아들입니다. 데이터를 저장하기 전에 어떻게 사용할지 미리 알 필요가 없습니다.

유연성이 곧 문제점이기도 합니다. 거버넌스가 없다면 데이터 레이크는 데이터의 늪이 되어버립니다. 그 안에 무엇이 있는지 아무도 모릅니다. 파일 이름은 모호하고, 메타데이터는 누락되어 있으며, 데이터는 폴더 전체에 중복되어 있습니다. 분석가는 필요한 데이터를 찾을 수 없고, 데이터 과학자는 분석 대신 데이터 정리와 탐색에 시간을 낭비합니다. 결국 데이터 레이크는 자산이 아닌 비용 센터가 됩니다. 해결책은 거버넌스, 즉 카탈로그, 메타데이터, 접근 제어, 그리고 명확한 소유권입니다. 최신 데이터 레이크하우스 아키텍처는 Delta Lake나 Iceberg와 같은 테이블 형식을 도입하여 스키마 강제, ACID 트랜잭션, 그리고 쿼리 성능을 향상시킵니다. 데이터 레이크와 데이터 웨어하우스가 융합되어 원시 스토리지의 유연성과 구조화된 테이블의 안정성이라는 두 가지 장점을 모두 누릴 수 있게 됩니다. 기술은 발전했지만, 거버넌스의 필요성은 여전히 ​​남아 있습니다.

데이터 레이크의 특징

• 읽기 시 스키마 적용 — 쿼리 시 구조 적용
• 원시 저장소 — 데이터는 원래 형식으로 저장됩니다.
• 확장성 우수 - 일반 스토리지에서 페타바이트급 용량 처리 가능
• 유연성 — 정형 데이터, 반정형 데이터 및 비정형 데이터를 모두 지원합니다.
• 관리 체계에 의존적입니다. 목록화 없이는 무질서한 상태가 됩니다.

데이터 레이크는 저수지와 같습니다. 지도가 없으면 그저 물웅덩이에 불과합니다.