A félig strukturált adatok rendelkeznek némi szerveződéssel, de nem illeszkednek szépen a táblázatokba. A JSON, az XML, a YAML és az e-mail fejlécek mind ebbe a kategóriába tartoznak. Az adatok olyan címkékkel vagy kulcsokkal rendelkeznek, amelyek leírják a szerkezetüket, de a szerkezet rekordonként változhat. Az egyik JSON objektum tartalmazhat egy mezőt, amely egy másikból hiányzik. Az egyik XML dokumentum másképp ágyazhatja be az elemeket, mint a másik. A séma rugalmas, néha olvasás közbeni sémaként is ismert. A struktúrát az adatok lekérdezésekor alkalmazzuk, nem pedig a tároláskor.
A félig strukturált adatok gyakoriak a modern alkalmazásokban. Az API-k JSON-t adnak vissza. A naplófájlok kulcs-érték párokat használnak. A konfigurációs fájlok YAML-t használnak. A NoSQL dokumentumadatbázisok natívan tárolják a JSON-t. Ez a rugalmasság akkor hasznos, amikor az adatmodell fejlődik vagy változik. Kihívást jelent az elemzés szempontjából is. A félig strukturált adatok lekérdezése más eszközöket és technikákat igényel, mint a táblázatok lekérdezése. Navigálni kell a beágyazott struktúrákban, kezelni kell a hiányzó mezőket, és lapítani kell a tömböket. Az SQL motorok alkalmazkodtak. A PostgreSQL, a MySQL és a Snowflake mind támogatják a JSON függvényeket. A JSON dokumentumokon belül lekérdezhetünk anélkül, hogy előbb ki kellene nyernünk őket. A strukturált és a félig strukturált adatok elmosódása miatt a különbségtétel kevésbé releváns. A fontos kérdés nem az, hogy az adatok félig strukturáltak-e, hanem az, hogy hatékonyan lekérdezhetők-e.
Félig strukturált formátumok
- JSON — kulcs-érték párok, tömbök, beágyazott objektumok
- XML — címkézett elemek, hierarchikus
- YAML — ember által olvasható konfiguráció
- CSV – elválasztott karakterek, de típusinformáció nélkül
- Naplófájlok – időbélyeggel ellátott események változó mezőkkel
A félig strukturált adatok jelentik az arany középutat. Elég strukturáltak ahhoz, hogy hasznosak legyenek, és elég rugalmasak ahhoz, hogy kuszák legyenek.
Comments (2)
Leave a comment