EN - FR - DE - ES - IT - PT -

LexiconDream

🌊 数据湖

一个集中式存储库,以原始格式存储原始数据。

数据湖

数据湖以其原生格式存储原始数据。写入时不强制执行任何模式。结构化表格、JSON 日志、图像和视频都存储在同一个存储库中。模式在读取数据时应用,而不是在存储时应用。这种灵活性正是其吸引力所在。数据湖可以接受任何类型的数据。它不要求您在存储数据之前就确定其用途。

灵活性也是问题所在。缺乏治理,数据湖就会变成数据沼泽。没人知道里面有什么。文件名晦涩难懂。元数据缺失。数据在不同文件夹间重复。分析师找不到所需内容。数据科学家浪费时间清理和探索数据,而不是进行分析。数据湖变成了成本中心,而不是资产。解决之道在于治理:目录、元数据、访问控制和明确的所有权。现代数据湖架构引入了 Delta Lake 和 Iceberg 等表格式,为数据湖带来了模式强制执行、ACID 事务和查询性能。数据湖和数据仓库融合在一起,兼具两者的优势:原始存储的灵活性和结构化表的可靠性。技术不断进步,但治理需求依然存在。

数据湖特征

数据湖就像一个水库。没有地图,它就只是一片水域。

Comments

No comments yet. Be the first to share a thought.

Leave a comment