数据湖以其原生格式存储原始数据。写入时不强制执行任何模式。结构化表格、JSON 日志、图像和视频都存储在同一个存储库中。模式在读取数据时应用,而不是在存储时应用。这种灵活性正是其吸引力所在。数据湖可以接受任何类型的数据。它不要求您在存储数据之前就确定其用途。
灵活性也是问题所在。缺乏治理,数据湖就会变成数据沼泽。没人知道里面有什么。文件名晦涩难懂。元数据缺失。数据在不同文件夹间重复。分析师找不到所需内容。数据科学家浪费时间清理和探索数据,而不是进行分析。数据湖变成了成本中心,而不是资产。解决之道在于治理:目录、元数据、访问控制和明确的所有权。现代数据湖架构引入了 Delta Lake 和 Iceberg 等表格式,为数据湖带来了模式强制执行、ACID 事务和查询性能。数据湖和数据仓库融合在一起,兼具两者的优势:原始存储的灵活性和结构化表的可靠性。技术不断进步,但治理需求依然存在。
数据湖特征
- 读取时模式——在查询时应用结构
- 原始存储——数据以原始格式保存
- 可扩展——可在普通存储设备上处理PB级数据
- 灵活——支持结构化、半结构化和非结构化数据
- 依赖于治理——如果没有编目,它就会变成沼泽。
数据湖就像一个水库。没有地图,它就只是一片水域。
Comments
No comments yet. Be the first to share a thought.
Leave a comment