資料湖以其原生格式儲存原始資料。寫入時不強制執行任何模式。結構化表格、JSON 日誌、圖像和影片都儲存在同一個儲存庫中。模式在讀取資料時應用,而不是在儲存時應用。這種靈活性正是其吸引力。資料湖可以接受任何類型的資料。它不要求您在儲存資料之前就確定其用途。
靈活性也是問題所在。缺乏治理,資料湖就會變成資料沼澤。沒人知道裡面有什麼。文件名晦澀難懂。元資料缺失。資料在不同資料夾間重複。分析師找不到所需內容。資料科學家浪費時間清理和探索數據,而不是進行分析。資料湖變成了成本中心,而不是資產。解決之道在於治理:目錄、元資料、存取控制和明確的所有權。現代資料湖架構引入了 Delta Lake 和 Iceberg 等表格式,為資料湖帶來了模式強制執行、ACID 事務和查詢效能。資料湖和資料倉儲融合在一起,兼具兩者的優勢:原始儲存的靈活性和結構化表的可靠性。科技不斷進步,但治理需求依然存在。
資料湖特徵
- 讀取時模式-在查詢時套用結構
- 原始儲存-資料以原始格式保存
- 可擴充-可在普通儲存設備上處理PB級數據
- 靈活-支持結構化、半結構化和非結構化數據
- 依賴治理——如果沒有編目,它就會變成沼澤。
資料湖就像一個水庫。沒有地圖,它就只是一片水域。
Comments
No comments yet. Be the first to share a thought.
Leave a comment