Az adattó a nyers adatokat natív formátumban tárolja. Íráskor nincs séma érvényben. A strukturált táblázatok, JSON-naplók, képek és videók mind ugyanabban a tárházban találhatók. A sémát az adatok olvasásakor alkalmazza a rendszer, nem pedig a tárolásukkor. Ez a rugalmasság a vonzereje. Az adattó bármit elfogad. Nem követeli meg, hogy a tárolás előtt tudd, hogyan fogod használni az adatokat.
A rugalmasság is problémát jelent. Irányítás nélkül az adattó adatmocsárrá válik. Senki sem tudja, mi van benne. A fájloknak rejtélyes neveik vannak. Hiányoznak a metaadatok. Az adatok mappákban ismétlődnek. Az elemzők nem találják meg, amire szükségük van. Az adattudósok időt pazarolnak a takarításra és a feltárásra az elemzés helyett. A tó költségközponttá, nem pedig eszközzé válik. A megoldás az irányítás: katalógusok, metaadatok, hozzáférés-vezérlés és egyértelmű tulajdonjog. A modern adattóházak architektúrái olyan táblázatformátumokat adnak hozzá, mint a Delta Lake és az Iceberg, amelyek sémakényszerítést, ACID tranzakciókat és lekérdezési teljesítményt hoznak a tóba. A tó és az adattárház összeolvad. Mindkettő legjobbja: a nyers tárolás rugalmassága és a strukturált táblák megbízhatósága. A technológia fejlődött. Az irányítási követelmény továbbra is fennáll.
Adattó jellemzői
- Séma olvasáskor — struktúra alkalmazása lekérdezéskor
- Nyers tárolás – az adatok eredeti formátumban megőrzése
- Skálázható – petabájtnyi árucikk-tárolót kezel
- Rugalmas – támogatja a strukturált, félig strukturált és strukturálatlan adatokat
- Kormányzásfüggő – katalogizálás nélkül mocsárrá válik
Az adattó egy víztározó. Térkép nélkül csak egy víztest.
Comments
No comments yet. Be the first to share a thought.
Leave a comment