EN - FR - DE - ES - IT - PT -

LexiconDream

🔀 半结构化数据

具有某种组织结构的数据,例如 JSON 或 XML。

半结构化数据

半结构化数据具有一定的组织结构,但无法完全按照表格形式组织。JSON、XML、YAML 和电子邮件标头都属于此类。数据包含描述其结构的标签或键,但结构可能因记录而异。一个 JSON 对象可能包含另一个对象所没有的字段。一个 XML 文档的元素嵌套方式可能与另一个文档不同。这种模式是灵活的,有时被称为读取时模式(schema-on-read)。结构是在查询数据时应用的,而不是在存储数据时应用的。

半结构化数据在现代应用程序中十分常见。API 返回 JSON 数据,日志文件使用键值对,配置文件使用 YAML,NoSQL 文档数据库原生支持 JSON 存储。这种灵活性在数据模型演进或变化时非常有用,但同时也给数据分析带来了挑战。查询半结构化数据所需的工具和技术与查询普通表有所不同。你需要处理嵌套结构、缺失字段以及扁平化数组。SQL 引擎已经对此进行了调整。PostgreSQL、MySQL 和 Snowflake 都支持 JSON 函数。你无需事先提取 JSON 文档即可直接查询其中的内容。这种结构化数据和半结构化数据界限的模糊化使得二者之间的区别变得不再那么重要。关键问题不在于数据是否是半结构化的,而在于能否有效地查询它。

半结构化格式

半结构化数据介于两者之间。它既有足够的结构性使其有用,又有足够的灵活性使其容易变得混乱。

Comments (2)

  1. Priya D.
    JSON and XML are the classic examples. They have structure but it's not as rigid as a relational database.
  2. Nana Ama
    The article is clear. Data with some organizational structure but not fully structured. Simple but important concept.

Leave a comment