Module 02 · The Data Engineering Ecosystem数据工程生态系统
Types of Data数据类型:结构化、半结构化与非结构化
数据是未经组织的信息,经过处理后才能变得有意义。通常,数据包括事实、观察结果、感知、数字、字符、符号和图像,可以对其进行解释以得出意义。
数据的一种分类方式是根据其结构,可分为:
- 结构化 (Structured)
- 半结构化 (Semi-structured)
- 非结构化 (Unstructured)
1.结构化数据 (Structured Data)
- 定义: 具有明确定义结构或遵循特定数据模型的数据。
- 存储形式: 可以存储在明确定义的模式(如数据库)中,并且在许多情况下可以以行和列的表格形式表示。
- 性质: 结构化数据是客观的事实和数字,可以收集、导出、存储和组织在典型的数据库中。
结构化数据的来源示例
- SQL 数据库和专注于业务事务的在线事务处理 (OLTP) 系统。
- 电子表格,如 Excel 和 Google Spreadsheets。
- 在线表单。
- 传感器,如全球定位系统 (GPS) 和射频识别 (RFID) 标签。
- 网络和 Web 服务器日志。
处理方式
- 存储: 您通常可以将结构化数据存储在关系型或 SQL 数据库中。
- 分析: 您可以轻松地使用标准数据分析方法和工具来检查结构化数据。

2.半结构化数据 (Semi-structured Data)
- 定义: 具有某些组织属性但缺乏固定或严格模式的数据。
- 存储形式: 不能以数据库中行和列的形式存储。
- 组织方式: 它包含标签和元素(或元数据),用于对数据进行分组并以层次结构进行组织。
半结构化数据的来源示例
- 电子邮件 (E-mails)。
- XML 和其他标记语言。
- 二进制可执行文件 (Binary executables)。
- TCP/IP 数据包 (TCP/IP packets)。
- 压缩文件 ()。
- 来自不同来源的数据集成。

处理方式
- 存储与交换: XML 和 JSON 允许用户定义标签和属性以层次结构形式存储数据,并被广泛用于存储和交换半结构化数据。

3.非结构化数据 (Unstructured Data)
- 定义: 不具有易于识别的结构,因此无法以行和列的形式组织在主流关系数据库中。
- 性质: 它不遵循任何特定的格式、序列、语义或规则。
- 应用: 非结构化数据可以处理来源的异构性,并具有各种商业智能和分析应用。
非结构化数据的来源示例
- 网页 ()。
- 社交媒体源 ()。
- 各种文件格式的图像(如 JPEG、GIF 和 PNG)。
- 视频和音频文件。
- 文档和 PDF 文件。
- PowerPoint 演示文稿。
- 媒体日志。
- 调查 ()。
处理方式
- 存储: 非结构化数据可以存储在文件和文档中(如 Word 文档)以进行手动分析,或存储在NoSQL 数据库中,后者拥有检查此类数据的专属分析工具。


总结:数据结构化分类
| 数据类型 | 核心特点 |
|---|---|
| 结构化数据 | 组织良好,格式可以存储在数据库中,适用于标准分析方法和工具。 |
| 半结构化数据 | 有一定组织,依赖元标签进行分组和层次化。 |
| 非结构化数据 | 不按照特定格式以传统的行和列形式组织。 |
在下一个视频中,我们将学习不同类型的文件结构。